[논문 리뷰] Automatic Diagnosis of Pulmonary Embolism Using an Attention-guided Framework: A Large-scale Study

Luyao Shi, Deepta Rajan외 4명|arXiv (Cornell University)|2020. 05. 29.

Venous Thromboembolism Diagnosis and Management참고 문헌 14인용 수 10

한 줄 요약

이 논문은 대조형 체질촬영 CT 스캔에서 자동 폐색전증(PE) 검출을 위한 주의력 유도 이중 단계 딥러닝 프레임워크를 제안한다. 먼저 픽셀 수준의 애너테이션과 주의력 손실을 사용하여 2D ResNet을 훈련시켜 병변 국소화를 수행하고, 이후 순환 신경망을 활용해 환자 수준 진단을 위한 3D 공간적 맥락을 통합한다. 이로써 2,160건의 대규모 테스트 세트에서 AUC 0.812를 달성하였다.

ABSTRACT

Pulmonary Embolism (PE) is a life-threatening disorder associated with high mortality and morbidity. Prompt diagnosis and immediate initiation of therapeutic action is important. We explored a deep learning model to detect PE on volumetric contrast-enhanced chest CT scans using a 2-stage training strategy. First, a residual convolutional neural network (ResNet) was trained using annotated 2D images. In addition to the classification loss, an attention loss was added during training to help the network focus attention on PE. Next, a recurrent network was used to scan sequentially through the features provided by the pre-trained ResNet to detect PE. This combination allows the network to be trained using both a limited and sparse set of pixel-level annotated images and a large number of easily obtainable patient-level image-label pairs. We used 1,670 sparsely annotated studies and more than 10,000 labeled studies in our training. On a test set with 2,160 patient studies, the proposed method achieved an area under the ROC curve (AUC) of 0.812. The proposed framework is also able to provide localized attention maps that indicate possible PE lesions, which could potentially help radiologists accelerate the diagnostic process.

연구 동기 및 목표

• 의료 영상에서 픽셀 수준의 애너테이션이 제한적인 문제를 해결하기 위해 희소한 애너테이션 데이터와 풍부한 환자 수준의 레이블 데이터를 결합한다.
• 훈련 중 주의력 감독을 통합하여 실제 PE 병변에 집중함으로써 모델의 해석 가능성과 진단 정확도를 향상시킨다.
• 이미지 수준의 레이블과 제한된 픽셀 수준의 애너테이션을 모두 활용하는 확장성 있고 이식 가능한 PE 검출 프레임워크를 개발한다.
• 국소화된 주의맵을 통해 잠재적인 PE 병변을 강조함으로써 영상의학자가 진단 속도를 높일 수 있도록 한다.
• 2,160건의 환자 스캔으로 구성된 대규모이고 복잡한 테스트 세트에서 기존 방법들, 즉 3D CNNs와 이전 PE 검출 모델들을 능가한다.

제안 방법

• 분류 손실과 주의력 손실을 동시에 사용한 이중 손실을 적용하여, 희소하게 애너테이션된 2D CT 슬라이스에서 2D 잔차 컨volution 신경망(ResNet18)을 훈련시켰다. 이는 병변 영역 향한 특징 학습을 유도한다.
• 역전파 기반 주의맵을 적용하여 분류 결정에 가장 기여한 이미지 영역을 시각화함으로써 모델의 해석 가능성을 향상시켰다.
• 사전 훈련된 2D 분류기에서 유도된 순차적 특징을 처리하기 위해 순환 신경망(RNN)을 사용하여, 3D 볼륨 CT 스캔 내 2D 슬라이스 간의 공간적 관계를 모델링하였다.
• 픽셀 수준의 애너테이션이 있는 1,670건의 데이터와 환자 수준의 레이블(양성/음성)만 있는 10,000건 이상의 데이터를 결합하여 공동 훈련을 수행하였다.
• RNN 훈련 중 2D 분류 네트워크의 가중치를 고정하여 특징 학습의 안정성과 계산 비용 절감을 도모하였다.
• 모든 CT 스캔을 2.5 mm 슬라이스 두께로 리샘플링하여 메모리 사용량과 훈련 시간을 줄였지만, 이는 부분적 병변의 탐지에 영향을 줄 수 있다.

실험 결과

연구 질문

• RQ1 딥러닝 훈련 중 주의력 감독이 2D CT 슬라이스에서 폐색전증 병변의 국소화에 어떻게 기여하는가?
• RQ2 희소한 픽셀 수준의 애너테이션과 풍부한 환자 수준의 레이블을 결합함으로써 PE 검출의 진단 성능이 향상되는가?
• RQ3 2D 분류에 주의력을 적용하고 RNN를 통해 3D 맥락을 모델링하는 이중 단계 프레임워크가 대규모 PE 검출에서 종단간 3D CNN보다 우월한가?
• RQ4 모델이 생성한 주의맵이 방사선의학적으로 관찰 가능한 PE 병변과 얼마나 일치하는가?
• RQ5 분포 이탈이 발생할 수 있는 다양한 다중 기관 데이터에 적용했을 때, 이 프레임워크의 일반화 능력은 어느 정도인가?

주요 결과

• 제안된 프레임워크는 2,160명의 환자 스캔으로 구성된 테스트 세트에서 AUC 0.812를 달성하여, PENet 및 3D CNNs를 포함한 기존 최고 수준의 방법들을 능가하였다.
• 모델이 생성한 주의맵은 시각적 예시에서 PE 병변을 정확히 국소화하였으며, 영상의학자의 업무 지원에 잠재적인 유용성을 보였다.
• 동일한 테스트 세트에서 3D CNN보다 모델의 성능이 뛰어나, 종단간 3D 학습보다 이중 단계 주의력 유도 접근법의 이점이 있음을 시사하였다.
• 2D 네트워크 훈련 중 주의력 손실을 사용함으로써 실제 병변에 집중된 더 구분력 있는 특징 학습이 가능해졌고, 해부학적 배경 구조에 대한 주의 편향이 감소하였다.
• 단지 1,670건의 픽셀 애너테이션된 스캔만을 사용했음에도 불구하고 강력한 성능을 보였으며, 대규모 환자 수준의 레이블 데이터를 효과적으로 활용한 것으로 나타났다.
• 이중 레이블(이진 레이블만 있는 데이터)을 기반으로 훈련할 수 있어, 이식 가능한 전이 학습 및 새로운 임상 환경에서의 도입에 매우 적합하다.