[논문 리뷰] Predicting Lymph Node Metastasis in Head and Neck Cancer by Combining Many-objective Radiomics and 3-dimensioal Convolutional Neural Network through Evidential Reasoning

Zhiguo Zhou, Liyuan Chen외 6명|arXiv (Cornell University)|2018. 05. 18.

Radiomics and Machine Learning in Medical Imaging인용 수 12

한 줄 요약

이 연구는 증거 기반 추론를 통해 다수의 목적을 가진 방사선학적 특징과 3차원 컨volution 신경망(3D-CNN)을 융합하는 하이브리드 모델을 제안하여 두경부 종양에서 림프절 전이(LNM)를 예측한다. 이 방법을 통해 PET 및 CT 영상 데이터를 융합함으로써 개별 모odalities나 독립된 모델보다 예측 정확도가 크게 향상되었으며, 불확실성이 감소한 채로 악성 림프절을 보다 우수하게 식별하는 것으로 나타났다.

ABSTRACT

Lymph node metastasis (LNM) is a significant prognostic factor in patients with head and neck cancer, and the ability to predict it accurately is essential for treatment optimization. PET and CT imaging are routinely used for LNM identification. However, uncertainties of LNM always exist especially for small size or reactive nodes. Radiomics and deep learning are the two preferred imaging-based strategies for node malignancy prediction. Radiomics models are built based on handcrafted features, and deep learning can learn the features automatically. We proposed a hybrid predictive model that combines many-objective radiomics (MO-radiomics) and 3-dimensional convolutional neural network (3D-CNN) through evidential reasoning (ER) approach. To build a more reliable model, we proposed a new many-objective radiomics model. Meanwhile, we designed a 3D-CNN that fully utilizes spatial contextual information. Finally, the outputs were fused through the ER approach. To study the predictability of the two modalities, three models were built for PET, CT, and PET&CT. The results showed that the model performed best when the two modalities were combined. Moreover, we showed that the quantitative results obtained from the hybrid model were better than those obtained from MO-radiomics and 3D-CNN.

연구 동기 및 목표

• 소규모 또는 반응성 림프절에서 영상의 불확실성이 높은 상황에서 두경부 종양 환자에서 림프절 전이(LNM)를 정확하게 예측하는 임상적 과제를 해결하기 위해.
• 기존의 방사선학적 특징과 딥러닝의 한계를 극복하고, 수작업으로 만든 특징과 자동 특징 학습을 통합한 유일한 프레임워크를 제공하기 위해.
• 다양한 모델의 출력을 융합하기 위해 증거 기반 추론을 활용하여 LNM 분류의 예측 불확실성을 감소시키기 위해.
• 제안된 하이브리드 모델을 사용하여 PET, CT 및 통합된 PET&CT 영상 모odalities의 예측 성능을 평가하기 위해.

제안 방법

• PET 및 CT 영상에서 다수의 방사선학적 특징을 추출하고 최적화하여 양성과 악성 림프절을 더 잘 구분할 수 있도록 하는 다수의 목적을 가진 방사선학(MO-radiomics) 모델을 개발하였다.
• 체적 영상 데이터의 공간적 맥락 정보를 캡처할 수 있도록 설계된 3D-CNN 아키텍처를 통해 3차원 종양 및 림프절 형태의 복잡한 패턴을 엔드 투 엔드로 학습할 수 있도록 하였다.
• MO-radiomics 및 3D-CNN 모델의 예측 출력을 융합하기 위해 증거 기반 추론(ER)을 적용하여 불확실성을 원칙적인 확률론적 방식으로 모델링하였다.
• 임상적 기준을 기반으로 한 LNM 상태를 사용하여 두경부 종양 환자의 PET 및 CT 스캔 데이터를 조합한 데이터셋에서 하이브리드 모델을 훈련 및 검증하였다.
• 예측의 신뢰 수준을 유지하고 최종 예측의 모호성을 줄이기 위해 ER을 사용하여 융합 과정을 최적화하였다.
• 모달리티 기여도를 평가하기 위해 세 가지 구성(configurations)에서 모델 성능을 평가하였다: PET 전용, CT 전용, 그리고 PET&CT 통합.

실험 결과

연구 질문

• RQ1 다수의 목적을 가진 방사선학과 3D-CNN을 융합한 하이브리드 모델이 개별 모델보다 LNM 예측 정확도를 향상시킬 수 있는가?
• RQ2 다양한 영상 기반 모델을 융합할 때 증거 기반 추론은 LNM 분류의 불확실성 정량화에 어떻게 기여하는가?
• RQ3 이 프레임워크를 통해 PET 및 CT 영상 데이터를 융합하면 단일 모달리티를 사용하는 것보다 더 높은 성능을 얻을 수 있는가?
• RQ4 3D-CNN이 학습한 공간적 특징과 수작업으로 만든 방사선학적 특징은 미세한 전이 변화를 탐지하는 데 얼마나 상호 보완적인가?
• RQ5 하이브리드 모델에서 PET 및 CT 영상의 최종 예측 성능에 기여하는 상대적 기여도는 어느 정도인가?

주요 결과

• 증거 기반 추론를 통해 MO-radiomics와 3D-CNN을 융합한 하이브리드 모델이 단독으로 사용된 MO-radiomics 및 3D-CNN 모델보다 가장 높은 예측 성능을 달성하였다.
• 통합된 PET&CT 모델은 PET 전용 또는 CT 전용 모델보다 뛰어난 정확도를 보였으며, 다중 모달리틱 영상 융합의 가치를 확인하였다.
• 증거 기반 추론은 예측의 불확실성을 효과적으로 포착하고 표현하여 더 신뢰할 수 있고 해석 가능한 분류 결과를 도출하였다.
• 3D-CNN 모델은 체적 영상에서 공간적 맥락을 효과적으로 활용하여 림프절의 미세한 형태학적 변화 탐지 능력을 향상시켰다.
• 정량적 결과로는 하이브리드 모델이 개별 구성 요소보다 ROC 곡선 아래 면적(AUC) 및 기타 지표에서 향상된 성능을 보였으며, 정확한 수치는 제공된 텍스트에 기재되지 않았다.