[논문 리뷰] DeepEM: Deep 3D ConvNets With EM For Weakly Supervised Pulmonary Nodule Detection

Wentao Zhu, Yeeleng S. Vang외 2명|arXiv (Cornell University)|2018. 05. 14.

Lung Cancer Diagnosis and Treatment참고 문헌 21인용 수 10

한 줄 요약

이 논문은 전자 의무 기록(EMR)을 활용하여 CT 스캔에서 폐 결절 탐지 성능을 햖스하는 약한 지도 학습 기반의 3D 컨볼루션 신경망 프레임워크인 DeepEM을 제안한다. 병변 후보군을 잠재 변수로 모델링하고, 부족한 EMR 레이블에서 사후 확률을 기대값 최대화(EM) 알고리즘을 사용해 추론함으로써, DeepEM은 LUNA16에서 Faster R-CNN 대비 평균 FROC 점수를 1.5% 향상시키고, Tianchi에서 3.9% 향상시켜 약한 레이블 데이터가 의료 영상 분야에서 가치가 있음을 입증한다.

ABSTRACT

Recently deep learning has been witnessing widespread adoption in various medical image applications. However, training complex deep neural nets requires large-scale datasets labeled with ground truth, which are often unavailable in many medical image domains. For instance, to train a deep neural net to detect pulmonary nodules in lung computed tomography (CT) images, current practice is to manually label nodule locations and sizes in many CT images to construct a sufficiently large training dataset, which is costly and difficult to scale. On the other hand, electronic medical records (EMR) contain plenty of partial information on the content of each medical image. In this work, we explore how to tap this vast, but currently unexplored data source to improve pulmonary nodule detection. We propose DeepEM, a novel deep 3D ConvNet framework augmented with expectation-maximization (EM), to mine weakly supervised labels in EMRs for pulmonary nodule detection. Experimental results show that DeepEM can lead to 1.5\% and 3.9\% average improvement in free-response receiver operating characteristic (FROC) scores on LUNA16 and Tianchi datasets, respectively, demonstrating the utility of incomplete information in EMRs for improving deep learning algorithms.\footnote{https://github.com/uci-cbcl/DeepEM-for-Weakly-Supervised-Detection.git}

연구 동기 및 목표

• 깊이 학습 모델을 위한 폐 결절 탐지에서 제한된 레이블이 부여된 의료 영상 데이터 문제를 해결한다.
• 정확한 병변 레이블이 없고 일부 진단 정보만 포함된 풍부한 약한 레이블 기반 전자 의무 기록(EMR)을 활용한다.
• 추가적인 전문가 레이블이 필요로 하지 않는, 오직 EMR에서 유도된 약한 레이블만을 사용하여 탐지 성능을 향상시키는 방법을 개발한다.
• 불완전한 임상 데이터를 활용하기 위해 잠재 변수 모델링과 EM 최적화를 사용하여 3D 컨볼루션 네트워크의 엔드 투 엔드 학습을 가능하게 한다.
• 약한 지도 학습 기반으로 EMR에서 유도된 데이터가 표준 벤치마크에서 탐지 성능을 크게 향상시킬 수 있음을 입증한다.

제안 방법

• 병변 후보군을 잠재 변수로 모델링하고, EM 최적화를 통해 그 사후 확률과 네트워크 파라미터를 동시에 추론한다.
• 병변 중심 단면의 공간 분포를 반-가우시안 모델로 표현하며, 이 모델의 파라미터는 EMR 데이터에서 학습한다.
• 약한 레이블을 기반으로 한 로지스틱 회귀를 사용하여 특정 폐엽 내 병변 존재 가능성을 모델링한다.
• E단계에서는 최대 사후 확률(MAP) 추정 또는 몬테카를로 샘플링을 통해 후보군의 사후 확률을 계산한다.
• M단계에서는 추론된 후보군 확률을 기반으로 Faster R-CNN 및 로지스틱 회귀 파라미터를 업데이트한다.
• 이미지 특징과 EMR에서 유도된 약한 지도 학습을 통합하는 공동 가능도 목적 함수를 사용하여 전체 프레임워크를 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 전자 의무 기록(EMR)에서 유도된 약한 레이블 데이터가 3D CT 스캔에서 폐 결절 탐지에 효과적으로 활용될 수 있는가?
• RQ2 EM 최적화를 통해 병변 후보군을 잠재 변수로 모델링할 경우, 완전한 지도 학습 기반 베이스라인 대비 탐지 성능 향상은 어떻게 이루어지는가?
• RQ3 EM 프레임워크 내에서 MAP 추론과 샘플링 기반 추론 간의 상대적 영향은 병변 후보군 추정에 어떤 영향을 미치는가?
• RQ4 추가적인 전문가 레이블 없이도 EMR에서 유도된 약한 지도 학습이 보존 테스트 세트에서 일반화 성능을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 DeepEM 프레임워크는 레이블이 제한된 다른 의료 영상 작업에 일반화될 수 있는가?

주요 결과

• 샘플링 기반 추론을 사용한 DeepEM은 약한 지도 학습 기반 EMR 데이터를 사용할 때 LUNA16 데이터셋에서 Faster R-CNN 대비 평균 FROC 점수를 1.5% 향상시킨다.
• Tianchi 보존 테스트 세트에서 DeepEM은 샘플링 기반 추론을 통해 Faster R-CNN 기반 베이스라인 대비 평균 FROC 점수를 3.9% 향상시킨다.
• MAP 추론 버전의 DeepEM는 LUNA16에서 FROC 점수를 1.3% 향상시켜 약한 지도 학습의 일관된 성과를 보여준다.
• 시각적 비교 결과, DeepEM는 Faster R-CNN보다 더 정확한 병변 중심 위치 추정과 더 좁은 직경 추정을 제공한다.
• 샘플링 기반 추론 전략이 MAP보다 성능이 뛰어난 것은 최적화 과정에서 국소 최적값을 회피할 수 있는 능력 덕분으로 보인다.
• 결과적으로, 완전하지 않은 EMR 기반 약한 레이블이라도 적절히 모델링될 경우 의료 영상 분야의 딥러닝 모델 성능을 크게 향상시킬 수 있음을 검증한다.