[논문 리뷰] Interleaved text/image deep mining on a large-scale radiology database for automated image interpretation

Hoo-Chang Shin, Le Lü외 4명|arXiv (Cornell University)|2016. 01. 01.

Topic Modeling참고 문헌 52인용 수 38

한 줄 요약

이 논문은 약 216,000장의 영상이 포함된 대규모 병원 데이터베이스에서 방사선 영상과 보고서 간의 의미적 상호작용을 채굴하기 위해 텍스트/이미지가 번갈아 배치된 딥러닝 시스템을 제안한다. 전체 데이터에 대해 약한 감독 학습을 적용하고, 제한된 레이블이 부여된 데이터를 엄격하게 감독 학습하는 방식을 통해 공통 질환 유형을 정확하게 탐지함으로써, 실세계 임상 시스템에서 대규모 자동 의료 영상 해석의 가능성을 입증한다.

ABSTRACT

Despite tremendous progress in computer vision, there has not been an attempt to apply machine learning on very large-scale medical image databases. We present an interleaved text/image deep learning system to extract and mine the semantic interactions of radiology images and reports from a national research hospital's Picture Archiving and Communication System. With natural language processing, we mine a collection of ∼216K representative two-dimensional images selected by clinicians for diagnostic reference and match the images with their descriptions in an automated manner. We then employ a weakly supervised approach using all of our available data to build models for generating approximate interpretations of patient images. Finally, we demonstrate a more strictly supervised approach to detect the presence and absence of a number of frequent disease types, providing more specific interpretations of patient scans. A relatively small amount of data is used for this part, due to the challenge in gathering quality labels from large raw text data. Our work shows the feasibility of large-scale learning and prediction in electronic patient records available in most modern clinical institutions. It also demonstrates the trade-offs to consider in designing machine learning systems for analyzing large medical data.

연구 동기 및 목표

• 임상 환경에서 매우 대규모 의료 영상 데이터베이스에 대한 머신러닝 응용의 부족을 해결한다.
• 국립 병원의 PACS에서 방사선 영상과 관련된 텍스트 보고서 간의 의미적 관계를 채굴한다.
• 모든 가용 데이터를 사용하여 근사적인 영상 해석을 생성하기 위해 약한 감독 모델을 개발한다.
• 높은 특이도로 흔한 질환 유형의 유무를 탐지하기 위해 엄격한 감독 학습 방식을 구현한다.
• 실제 임상 데이터를 사용하여 전자 환자 기록에서 대규모 학습의 가능성과 상호 간의 상충 관계를 입증한다.

제안 방법

• 임상의사가 선정한 약 216,000장의 대표적인 2차원 영상에 대해 자연어 처리를 활용해 방사선 보고서를 추출하고 매칭한다.
• 전체 데이터셋을 대상으로 약한 감독 학습 방식을 적용하여 근사적인 영상 해석을 생성하는 모델을 훈련시킨다.
• 작은 고품질의 레이블이 부여된 데이터 세트를 사용해 특정 질환 유형을 탐지하기 위해 엄격한 감독 학습 방법을 구현한다.
• 이미지 특징과 텍스트 기술을 동시에 모델링하여 의미적 이해를 향상시키기 위해 상호작용하는 딥러닝 아키텍처를 설계한다.
• 신규 데이터 수집 없이도 현대 임상 기관의 기존 전자 건강 기록 데이터를 활용해 모델을 훈련하고 검증한다.
• 약한 감독을 통한 광범위한 패tern 학습과 엄격한 감독을 통한 정밀한 질환 탐지 간의 균형을 통해 데이터 효율성과 모델 정확도를 조율한다.

실험 결과

연구 질문

• RQ1 딥러닝 시스템은 대규모 스케일에서 방사선 영상과 관련된 임상 보고서 간의 의미적 상호작용을 효과적으로 추출하고 모델링할 수 있는가?
• RQ2 제한된 레이블이 부여된 데이터를 사용한 엄격한 감독 학습과 전체 데이터에 대한 약한 감독 학습 간의 질환 탐지 성능는 어떻게 비교되는가?
• RQ3 실제 전자 환자 기록을 활용한 대규모 의료 영상 분석을 위한 머신러닝 시스템 설계 시 실용적인 상충 관계는 무엇인가?
• RQ4 자동화된 시스템은 오직 기존의 레이블이 없는 임상 데이터만을 사용해 임상적으로 관련성이 있는 영상 해석을 어느 정도 생성할 수 있는가?
• RQ5 약한 감독과 강한 감독을 융합한 하이브리드 학습 전략은 방사선 영상에서 질환 탐지 정확도를 향상시킬 수 있는가?

주요 결과

• 시스템은 약 216,000장의 영상이 포함된 대규모 임상 데이터베이스에서 방사선 영상과 보고서 간의 의미적 상호작용을 성공적으로 채굴했다.
• 약한 감독 학습 방식을 통해 수동 레이블링이 필요 없이 모든 가용 데이터를 활용해 근사적인 영상 해석을 효과적으로 생성할 수 있었다.
• 작은 양의 레이블이 부여된 데이터를 사용함에도 불구하고 엄격한 감독 학습 방식이 흔한 질환 유형의 유무를 정확하게 탐지하는 데 성공했다.
• 본 연구는 기존 임상 데이터 인프라를 활용해 전자 환자 기록에서 대규모 학습 및 예측의 가능성을 입증했다.
• 실제 의료 데이터에 머신러닝를 적용할 때 데이터 효율성, 레이블링 비용, 모델 정확도 간의 핵심 상충 관계가 드러났다.