[논문 리뷰] Predicting Distant Metastases in Soft-Tissue Sarcomas from PET-CT scans using Constrained Hierarchical Multi-Modality Feature Learning

Yige Peng, Lei Bi외 4명|arXiv (Cornell University)|2021. 04. 23.

Radiomics and Machine Learning in Medical Imaging참고 문헌 27인용 수 5

한 줄 요약

이 논문은 PET-CT 영상에서 연조직 sarcoma(soft-tissue sarcoma, STS) 환자의 원격 전이(distant metastases, DM)를 예측하기 위해 제약된 계층적 다중모odal리즘 특징 학습(constrained hierarchical multi-modality feature learning, CHMFL)을 갖춘 3D 컨volution 신경망을 제안한다. 계층적이고 제약된 특징 학습을 통해 해부학적(CT) 및 대사적(PET) 정보를 동시에 활용함으로써, DM 예측에 기여하는 특징을 더 잘 탐지할 수 있으며, 공개된 STS 데이터셋에서 최신의 방사학적 방법들보다 뛰어난 특이도와 AUC 성능을 기록한다.

ABSTRACT

Distant metastases (DM) refer to the dissemination of tumors, usually, beyond the organ where the tumor originated. They are the leading cause of death in patients with soft-tissue sarcomas (STSs). Positron emission tomography-computed tomography (PET-CT) is regarded as the imaging modality of choice for the management of STSs. It is difficult to determine from imaging studies which STS patients will develop metastases. 'Radiomics' refers to the extraction and analysis of quantitative features from medical images and it has been employed to help identify such tumors. The state-of-the-art in radiomics is based on convolutional neural networks (CNNs). Most CNNs are designed for single-modality imaging data (CT or PET alone) and do not exploit the information embedded in PET-CT where there is a combination of an anatomical and functional imaging modality. Furthermore, most radiomic methods rely on manual input from imaging specialists for tumor delineation, definition and selection of radiomic features. This approach, however, may not be scalable to tumors with complex boundaries and where there are multiple other sites of disease. We outline a new 3D CNN to help predict DM in STS patients from PET-CT data. The 3D CNN uses a constrained feature learning module and a hierarchical multi-modality feature learning module that leverages the complementary information from the modalities to focus on semantically important regions. Our results on a public PET-CT dataset of STS patients show that multi-modal information improves the ability to identify those patients who develop DM. Further our method outperformed all other related state-of-the-art methods.

연구 동기 및 목표

• 다중모달리즘 PET-CT 영상 데이터를 활용해 연조직 sarcoma(soft-tissue sarcoma, STS) 환자에서 원격 전이(distant metastases, DM)를 예측하는 딥러닝 방법을 개발하는 것.
• 기존 방사학적 방법의 한계, 즉 수동적인 종양 세그멘테이션 및 수작업 특징 엔지니어링에 의존하는 점을 해결하는 것.
• PET(대사 활동)와 CT(해부학적 구조) 모달리즘 간 상호보완적인 정보를 통합한 유일한 3D 딥러닝 프레임워크를 통해 예측 성능을 향상시키는 것.
• 의미 있는 종양 영역에 집중하는 제약된 특징 학습 모듈을 통합하여 과적합을 줄이고 일반화 능력을 향상시키는 것.
• 공개된 STS PET-CT 데이터셋에서 기존 최신 기술들보다 뛰어난 성능을 입증하는 것

제안 방법

• PET 및 CT 볼륨을 동시에 처리하기 위해 제약된 계층적 다중모달리즘 특징 학습(constrained hierarchical multi-modality feature learning, CHMFL) 모듈을 탑재한 3D CNN 기반 아키텍처를 제안한다.
• 배경 영역의 관련 없는 특징을 억제함으로써 종양 영역에 주의를 집중시키는 제약된 특징 학습 모듈을 도입하여 모델의 강건성을 향상시킨다.
• 3D 종양 볼륨 전반에 걸쳐 다중 척도의 공간적 및 기능적 패턴을 포착하는 계층적 특징 학습 전략을 적용한다.
• PET(대사 활동)와 CT(해부학적 구조)의 상호보완적 정보를 활용하여 DM 예측을 위한 특징 표현을 향상시킨다.
• 이진 분류 문제인 DM 상태 예측을 위해 교차 엔트로피 손실을 사용하여 엔드 투 엔드 학습을 수행한다.
• 기존 기준 방법들과의 비교를 위해 t-SNE 시각화를 적용하여, CHMFL이 DM 및 비-DM 케이스 간 특징의 분리도가 향상되었음을 확인한다.

실험 결과

연구 질문

• RQ1 PET 및 CT 영상을 동시에 처리하는 딥러닝 모델이 단일 모달리즘 또는 전통적인 방사학적 방법에 비해 연조직 sarcoma에서 원격 전이를 예측하는 데 있어 성능 향상을 이룰 수 있는가?
• RQ2 제약된 계층적 다중모달리즘 특징 학습의 통합이 주로 종양에서 DM 예측 특징을 식별하는 데 모델의 능력을 향상시키는가?
• RQ3 제안된 CHMFL 방법은 AUC, 특이도 및 일반화 능력 측면에서 최신 기술의 방사학적 및 CNN 기반 접근법과 비교해 어떻게 성능을 냈는가?
• RQ4 모델 성능이 단독으로 PET 또는 CT 모달리즘에 의존하는 것보다, 두 모달리즘 간 상호보완적 정보에 얼마나 의존하는가?
• RQ5 t-SNE를 통한 시각화 결과, 기존 방법들과 비교해 CHMFL 모델이 DM 및 비-DM 환자 간 특징의 분리도가 더 높은가?

주요 결과

• 제안된 CHMFL 방법은 공개된 STS PET-CT 데이터셋에서 모든 비교 대조 방법들 중 가장 높은 성능을 기록하였으며, AUC와 특이도 모두 뛰어난 성능을 보였다.
• 2D-CNN, 단일 모달리즘(CT 또는 PET)에서의 3D-CNN, 그리고 HC+RF 및 3DMCL을 포함한 다른 최신 기술들보다도 성능이 뛰어났다.
• 제약된 특징 학습 모듈이 긍정적인 DM 예측에 대한 과적합을 크게 감소시켜, 3DMCL 대비 특이도가 향상되었다.
• t-SNE 시각화 결과, CHMFL 특징가 DM 및 비-DM 환자 간 분리도가 3DMCL 또는 3D-CNN-PET-CT보다 뚜렷하게 높았다.
• PET 기반 모델이 CT 기반 모델보다 성능이 뛰어나, DM 예측에서 대사 정보의 중요성을 강조하였다.
• 3D CNN 아키텍처가 2D 대비 더 나은 공간 표현 능력을 보였으며, 종양의 형태와 크기를 더 효과적으로 포착할 수 있었다.