[논문 리뷰] Multi-Modality Information Fusion for Radiomics-based Neural Architecture Search

Yige Peng, Lei Bi외 3명|arXiv (Cornell University)|2020. 07. 12.

Radiomics and Machine Learning in Medical Imaging참고 문헌 22인용 수 4

한 줄 요약

이 논문은 PET-CT 레이디오믹스에서 최적의 컨volutional 신경망 아키텍처와 융합 전략을 동시에 탐색하는 자동화된 방법인 다중모odal리티 신경망 아키텍처 탐색(MM-NAS)을 제안한다. PET 및 CT 영상을 엔드 투 엔드로 아키텍처에 종속되지 않는 융합을 가능하게 함으로써, MM-NAS는 연조직 sarcoma 환자에서의 원격 전이 예측에서 3D AUC 0.896을 달성하였으며, 수작업으로 만든 특징 또는 수동 설계 없이도 최신 기술을 초월한다.

ABSTRACT

'Radiomics' is a method that extracts mineable quantitative features from radiographic images. These features can then be used to determine prognosis, for example, predicting the development of distant metastases (DM). Existing radiomics methods, however, require complex manual effort including the design of hand-crafted radiomic features and their extraction and selection. Recent radiomics methods, based on convolutional neural networks (CNNs), also require manual input in network architecture design and hyper-parameter tuning. Radiomic complexity is further compounded when there are multiple imaging modalities, for example, combined positron emission tomography - computed tomography (PET-CT) where there is functional information from PET and complementary anatomical localization information from computed tomography (CT). Existing multi-modality radiomics methods manually fuse the data that are extracted separately. Reliance on manual fusion often results in sub-optimal fusion because they are dependent on an 'expert's' understanding of medical images. In this study, we propose a multi-modality neural architecture search method (MM-NAS) to automatically derive optimal multi-modality image features for radiomics and thus negate the dependence on a manual process. We evaluated our MM-NAS on the ability to predict DM using a public PET-CT dataset of patients with soft-tissue sarcomas (STSs). Our results show that our MM-NAS had a higher prediction accuracy when compared to state-of-the-art radiomics methods.

연구 동기 및 목표

• 레이디오믹스 파이프라인 설계에 필요한 수작업을 제거함으로써 특징 공학 및 네트워크 아키텍처 선택을 포함한다.
• 기존 레이디오믹스 방법에서 전문가가 정의한 융합 전략에 의존하는 다중모달리티 융합의 최적화되지 않은 문제를 해결한다.
• PET-CT 스캔에서 다중모달리티 영상 표현을 최적화하여 자동으로 학습하는 엔드 투 엔드의 자동화된 방법을 개발한다.
• 최소한의 인간 편향을 수반하는 딥러닝을 활용하여 연조직 sarcoma 환자에서의 원격 전이 예측 정확도를 향상시킨다.

제안 방법

• 2D 및 3D CNN에 최적의 계산 셀(정상 및 감소)을 자동으로 탐색하기 위해 미분 가능 신경망 아키텍처 탐색(NAS)을 사용하였다.
• 다양한 연산(예: 컨볼루션, 풀링)과 연결을 포함하는 검색 공간을 설계하여 네트워크의 여러 단계에서 PET 및 CT 특징을 융합하였다.
• 아키텍처 탐색 과정에 다중모달리티 융합을 통합하여 학습 도중 자연스럽게 학습된 융합 모듈이 유도되도록 하였다.
• 공개된 PET-CT STS 데이터셋에서 5중 교차검증을 통해 효율적으로 아키텍처를 탐색하기 위해 일회성 가중치 공유 전략을 사용하였다.
• 조기 정지와 학습률 스케줄링을 포함한 표준 딥러닝 학습 프rotocols를 사용하여 최종 아키텍처를 학습하고 평가하였다.
• 정확도, 정밀도, F1 점수, AUC, 민감도, 특이도의 6개 지표를 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 자동화된 신경망 아키텍처 탐색 프레임워크가 PET-CT 스캔에서 원격 전이를 예측하는 데 있어 수작업 또는 수작업으로 만든 레이디오믹스 파이프라인을 능가할 수 있는가?
• RQ2 네트워크 아키텍처와 융합 전략을 동시에 엔드 투 엔드로 탐색하는 것이 순차적 특징 추출 및 수동 융합보다 더 높은 성능을 내는가?
• RQ3 수작업 특징 또는 고정 아키텍처를 사용하는 최신 레이디오믹스 방법과 비교해 MM-NAS의 성능은 어떠한가?
• RQ4 3D 부피 모델링과 2D 슬라이스 기반 모델링 중 어느 것이 연조직 sarcoma의 전이 가능성 예측에 더 기여하는가?
• RQ5 네트워크의 여러 단계에서 학습된 다중모달리티 융합이 사전에 추출된 특징의 후기 융합보다 예측 성능을 향상시키는가?

주요 결과

• 3D MM-NAS는 3DMCL, HC+RF, DLHN을 포함한 모든 베이스라인 방법보다 높은 AUC 0.896을 달성하였다.
• 48명의 환자로 구성된 PET-CT 데이터셋에서 MM-NAS는 정확도 0.896, 민감도 0.917, 특이도 0.875, 정밀도 0.880, F1 점수 0.898의 성능을 기록하였다.
• 3D MM-NAS는 2D 및 3D 단일모달리티 CNN(예: 3D PET-CT CNN AUC = 0.773)를 상당히 뛰어넘었으며, 아키텍처와 융합 탐색의 조합이 가치가 있음을 입증하였다.
• 수작업 특징 공학이 전혀 필요 없는 3DMCL과 같은 최신 기술을 뛰어넘는 성능을 달성하였다.
• 네트워크 아키텍처 내에서 학습된 융합이 별도로 추출된 특징의 후기 융합보다 더 나은 표현 학습을 이끌어낸다는 점을 입증하였다.
• PET 기반 모델이 CT 기반 모델보다 성능이 뛰어나, PET가 종양 생물학에 대한 기능적 민감도를 지닌다는 점을 강조하며, 이는 MM-NAS의 엔드 투 엔드 학습에 의해 강화됨을 보여주었다.