[논문 리뷰] Disease Detection in Weakly Annotated Volumetric Medical Images using a Convolutional LSTM Network

Nathaniel Braman, David Beymer외 1명|arXiv (Cornell University)|2018. 12. 03.

Lung Cancer Diagnosis and Treatment참고 문헌 9인용 수 5

한 줄 요약

이 논문은 이질적 병변의 정확한 표시가 필요 없는 이진 질병 레이블만을 사용하여 저선량 CT 스캔에서 폐기종을 탐지하는 3D 컨volutional LSTM 네트워크를 제안한다. 부피 자료를 2D 슬라이스의 시퀀스로 처리함으로써 슬라이스 간의 공간적 관계를 포착하고, AUC 0.83을 달성하여 2D MIL 기반의 CNN(0.69–0.76)과 3D CNN(0.77)을 능가한다.

ABSTRACT

We explore a solution for learning disease signatures from weakly, yet easily obtainable, annotated volumetric medical imaging data by analyzing 3D volumes as a sequence of 2D images. We demonstrate the performance of our solution in the detection of emphysema in lung cancer screening low-dose CT images. Our approach utilizes convolutional long short-term memory (LSTM) to "scan" sequentially through an imaging volume for the presence of disease in a portion of scanned region. This framework allowed effective learning given only volumetric images and binary disease labels, thus enabling training from a large dataset of 6,631 un-annotated image volumes from 4,486 patients. When evaluated in a testing set of 2,163 volumes from 2,163 patients, our model distinguished emphysema with area under the receiver operating characteristic curve (AUC) of .83. This approach was found to outperform 2D convolutional neural networks (CNN) implemented with various multiple-instance learning schemes (AUC=0.69-0.76) and a 3D CNN (AUC=.77).

연구 동기 및 목표

• 이식적 진단 레이블만을 요구하는 부피 자료의 질병 탐지용 딥 러닝 프레임워크를 개발하는 것.
• 병변이 부피의 일부분에서만 나타날 수 있는 국소 질환인 폐기종과 같은 질환을 3D CT 스캔에서 탐지하는 데 도전하는 것.
• 다중 예제 학습(MIL)의 한계를 극복하기 위해 시퀀스 처리를 통해 슬라이스 간의 공간적 관계를 유지하는 것.
• 전문가가 그린 영역이 필요 없이 방사선 검사 보고서에서 유래한 레이블을 활용하여 대규모 약한 레이블이 부여된 데이터셋에서 학습할 수 있도록 하는 것.
• 이용 가능한 이진 레이블만으로도 다양한 임상 기관 간에 재학습 및 미세조정이 가능한 모델 개발 가능성을 입증하는 것.

제안 방법

• 모델은 3D CT 부피를 2D 축 방향 슬라이스의 시퀀스로 처리하며, 각 슬라이스에 컨볼루션 레이어를 적용한 후, 슬라이스 간의 공간-시간적 의존성을 모델링하기 위해 컨볼루션 LSTM(Conv-LSTM)을 적용한다.
• 아키텍처는 공유된 필터 수를 가진 네 개의 Conv-LSTM 유닛을 사용한다: 두 개의 상행(32 필터)과 두 개의 하행(32 필터), 그 다음 두 개의 상행(64 필터)과 두 개의 하행(64 필터)으로 구성되어 양방향 특징 학습을 가능하게 한다.
• 각 Conv-LSTM 유닛은 슬라이스를 순서대로(상행 또는 하행) 처리하며, 병변 패턴을 여러 슬라이스에 걸쳐 유지하는 은닉 상태를 유지하고, 최종 특징은 전체 부피를 요약한다.
• 최종적으로 활성화 함수로 시그모이드를 사용하는 완전 연결 레이어가 폐기종 존재 확률을 출력하며, 이중 교차 엔트로피 손실을 사용해 엔드 투 엔드로 학습된다.
• 모델은 4,486명의 환자로부터의 6,631개의 정규화되지 않은 CT 부피에서 학습되었으며, 75%는 학습용, 25%는 검증 및 하이퍼파라미터 튜닝용으로 사용되었다.
• 성능는 최대 풀링, 평균 풀링, 곱셈 풀링 전략을 사용한 2D MIL 기반 CNN들과 비교되었으며, 파라미터 수가 유사한 3D CNN과의 비교를 통해 공정성을 확보했다.

실험 결과

연구 질문

• RQ1 이진 질병 레이블만 존재할 때, Conv-LSTM 모델이 부피 자료의 CT 스캔에서 폐기종을 효과적으로 탐지할 수 있는가?
• RQ2 Conv-LSTM를 통한 2D 슬라이스의 순차적 처리가 MIL 기반의 풀링 전략보다 슬라이스 간의 공간적 관계를 더 잘 유지하는가?
• RQ3 약한 레이블이 부여된 데이터를 사용할 때, Conv-LSTM 모델의 성능는 2D MIL-CNN과 3D CNN과 비교해 어떻게 되는가?
• RQ4 모델은 병변이 폐 부피의 일부분에서만 국소화되어 있어도 환자 간에 일반화되어 질병을 탐지할 수 있는가?
• RQ5 방사선 검사 보고서에서 유래한 이진 레이블을 얼마나 활용하여 수동 세분화 없이도 고성능 모델을 학습시킬 수 있는가?

주요 결과

• Conv-LSTM 모델은 독립된 테스트 세트인 2,163개의 CT 부피에서 폐기종 탐지에 대해 AUC 0.83을 달성했다.
• 모델은 2D MIL 기반 CNN을 유의하게 능가했으며, 각각 최대 풀링(AUC 0.69), 평균 풀링(AUC 0.70), 곱셈 풀링(AUC 0.76) 전략을 사용한 경우를 고려했을 때 성능이 떨어졌다.
• 유사한 파라미터 수를 가진 3D CNN보다도 Conv-LSTM 모델이 성능이 뛰어났으며, AUC 0.77를 기록했다.
• 유우던 지수 최적 임계값에서 모델은 77%의 민감도와 74%의 특이도를 기록하여 참 양성과 가짜 양성의 균형을 잘 유지함을 나타냈다.
• 모델의 성능는 다양한 풀링 전략에서 안정적이었으며, 폐기종이 일부 슬라이스에만 국소화되어 있어도 병변 패턴을 학습할 수 있는 능력을 보였다.
• 이 프레임워크는 방사선 검사 보고서에서 유래한 이진 레이블만을 사용하여 대규모 데이터셋에서 학습할 수 있도록 하여, 모델 개발에 활용 가능한 데이터의 범위를 크게 확장시켰다.