[논문 리뷰] Joint Learning for Pulmonary Nodule Segmentation, Attributes and Malignancy Prediction

Botong Wu, Zhen Zhou외 2명|ArXiv.org|2018. 02. 10.

Lung Cancer Diagnosis and Treatment참고 문헌 12인용 수 11

한 줄 요약

이 논문은 다중 창문 폭/중심(ww/wc) CT 입력을 사용하여 폐결절 분할, 특성 예측, 악성도 분류를 동시에 수행하는 3D 다중 작업 딥러닝 프레임워크인 PN-SAMP을 제안한다. 분할, 특성, 악성도 예측을 하나의 엔드 투 엔드 모델로 통합함으로써 최신 기술 수준의 성능을 달성하였으며, 악성도 예측 정확도 97.58%, 특성 예측 정확도 89.33%, 분할의 딱스 계수 73.89%를 기록하였다. 동시에 영상의학 전문의가 이해하기 쉽게 설명 가능한 출력을 제공함으로써 해석 가능성도 향상시켰다.

ABSTRACT

Refer to the literature of lung nodule classification, many studies adopt Convolutional Neural Networks (CNN) to directly predict the malignancy of lung nodules with original thoracic Computed Tomography (CT) and nodule location. However, these studies cannot tell how the CNN works in terms of predicting the malignancy of the given nodule, e.g., it's hard to conclude that whether the region within the nodule or the contextual information matters according to the output of the CNN. In this paper, we propose an interpretable and multi-task learning CNN -- Joint learning for extbf{P}ulmonary extbf{N}odule extbf{S}egmentation extbf{A}ttributes and extbf{M}alignancy extbf{P}rediction (PN-SAMP). It is able to not only accurately predict the malignancy of lung nodules, but also provide semantic high-level attributes as well as the areas of detected nodules. Moreover, the combination of nodule segmentation, attributes and malignancy prediction is helpful to improve the performance of each single task. In addition, inspired by the fact that radiologists often change window widths and window centers to help to make decision on uncertain nodules, PN-SAMP mixes multiple WW/WC together to gain information for the raw CT input images. To verify the effectiveness of the proposed method, the evaluation is implemented on the public LIDC-IDRI dataset, which is one of the largest dataset for lung nodule malignancy prediction. Experiments indicate that the proposed PN-SAMP achieves significant improvement with respect to lung nodule classification, and promising performance on lung nodule segmentation and attribute learning, compared with the-state-of-the-art methods.

연구 동기 및 목표

• 기존 폐결절 악성도 예측을 위한 딥러닝 모델들이 임상적 맥락 없이 블랙박스 결정을 내려 해석이 어려운 문제를 해결하기 위해
• 공유 표현을 활용한 다중 작업 학습을 통해 결절 분류, 분할, 특성 예측 성능을 향상시키기 위해
• 영상의학 전문의가 이해하기 쉽게 의미적 특성(예: 가장자리, 석회화)과 정확한 결절 분할 마스크를 함께 제공함으로써 모델의 해석 가능성 향상하기 위해
• 다양한 창문 폭/중심(ww/wc) 설정을 통합하여 영상 정보를 풍부하게 하고, 영상의학 전문의의 실질적 진단 습관을 모방하기 위해
• 공유 감독 및 특징 학습을 통해 다중 작업 학습이 모든 작업의 성능 향상에 기여하는지 입증하기 위해

제안 방법

• 모델은 두 채널 입력을 사용하며, 서로 다른 ww/wc 설정에서 추출한 결절 패치를 채널 차원에 따라 스택하여 특징 표현을 풍부하게 한다.
• 분할, 특성 분류, 악성도 예측을 동시에 학습하기 위해 공유 및 작업별 브랜치를 갖춘 3D 합성곱 신경망을 설계한다.
• 분할 브랜치는 분류 브랜치와 스킵 연결을 통해 연결되어, 분류 손실이 분할 성능 향상에 역전파될 수 있도록 한다.
• 다중 작업 학습은 분할, 특성, 악성도 예측 손실을 가중치 합을 통해 함께 최적화하여 구현한다.
• 모델는 LIDC-IDRI 데이터셋에서 64×64×64×2 입력 볼륨을 사용하여 0.6 mm 등방성 해상도로 정규화된 상태에서 엔드 투 엔드로 훈련된다.
• 다양한 해상도의 ww/wc 전략을 포함하여 영상의학 전문의의 창문 조절 기법을 모방함으로써 미세한 결절 특징에 대한 민감도 향상

실험 결과

연구 질문

• RQ1 단일 작업 모델 대비 분할, 특성, 악성도 예측의 다중 작업 학습이 모든 작업의 성능 향상에 기여하는가?
• RQ2 다양한 창문 폭/중심 설정을 통합함으로써 모델의 미세한 결절 특징 탐지 능력과 분류 정확도 향상이 이루어지는가?
• RQ3 다중 작업 학습이 의미적 특성과 분할 마스크를 제공함으로써 영상의학 전문의의 해석 가능성 향상에 어느 정도 기여하는가?
• RQ4 LIDC-IDRI 데이터셋에서 제안된 다중 작업 아키텍처가 최신 기술 수준의 방법 대비 악성도 예측, 분할, 특성 학습 측면에서 어떻게 성능을 냈는가?
• RQ5 분할 결과를 감독 신호로 통합함으로써 악성도 분류 성능 향상이 이루어지는가?

주요 결과

• 제안된 PN-SAMP는 폐결절 악성도 예측에서 97.58%의 정확도를 기록하여 비교한 최신 기술 수준의 모든 방법들을 초월하였다.
• 모델은 9개의 고수준 특성 예측에서 89.33%의 정확도를 달성하여 특성 학습 성능가 뛰어났다.
• 분할 작업은 딱스 계수 73.89%를 기록하였으며, 1600만 파라미터를 가진 3D-UNet 기준선 대비 199만 파라미터로 1.99% 높은 성능을 보였다.
• 다중 작업 학습은 단일 작업 기준선 대비 분할 성능에서 3.69% 향상되었고, 분류 성능에서는 4.69% 향상되었다.
• 다양한 ww/wc 입력의 조합이 가장 뛰어난 종합 성능을 보였으며, 이는 결절 외관 특징의 풍부함에 기여하는 것으로 확인되었다.
• 정성적 결과에서는 악성도 및 특성 예측이 진값과 일치하였으며, 대부분의 예측이 진값으로부터 ±1 이내에 위치하였다.