[논문 리뷰] A Normalized Fully Convolutional Approach to Head and Neck Cancer Outcome Prediction

William Le, Francisco Romero외 1명|arXiv (Cornell University)|2020. 05. 28.

Radiomics and Machine Learning in Medical Imaging참고 문헌 3인용 수 4

한 줄 요약

이 논문은 전처리기로 정규화된 완전 컨volution 네트워크(FCN)를 결합한 집합적 잔차 컨volution 신경망(AggResCNN)을 제안하여 치료 전 PET-CT 영상 자료를 이용해 헤드 앤 넥 서바이벌 예측을 수행한다. 다중 모odal 영상 자료를 통합하고 FCN를 통한 특징 정규화를 활용함으로써, 최신 기술 대비 6% 높은 AUC 0.76를 달성하면서도 모델 파라미터를 27% 이상 감소시켜 예측 성능과 효율성을 향상시켰다.

ABSTRACT

In medical imaging, radiological scans of different modalities serve to enhance different sets of features for clinical diagnosis and treatment planning. This variety enriches the source information that could be used for outcome prediction. Deep learning methods are particularly well-suited for feature extraction from high-dimensional inputs such as images. In this work, we apply a CNN classification network augmented with a FCN preprocessor sub-network to a public TCIA head and neck cancer dataset. The training goal is survival prediction of radiotherapy cases based on pre-treatment FDG PET-CT scans, acquired across 4 different hospitals. We show that the preprocessor sub-network in conjunction with aggregated residual connection leads to improvements over state-of-the-art results when combining both CT and PET input images.

연구 동기 및 목표

• 다중 모달 전처리 PET-CT 영상 자료를 이용해 헤드 앤 넥 암 환자의 생존 예측 성능을 향상시키기 위해.
• 고차원적이고 다중 도메인의 의료 영상 자료에 도전하기 위해 딥 러닝을 활용해 강력한 특징 추출을 수행하기 위해.
• 분류 성능을 유지하거나 향상시키면서도 모델 복잡성과 파라미터 수를 줄이기 위해.
• 완전 컨볼루션 전처리기로 PET 및 CT 모달 간 특징을 정규화하고 향상시켜 생존 분류 성능을 향상시킬 수 있는지 조사하기 위해.
• 불균형한 생존 결과를 포함한 다기관 TCIA 데이터셋에서 방법의 유효성을 검증하기 위해.

제안 방법

• 다중 모달 PET-CT 입력을 정규화하기 위해 4개의 다운샘플링 및 4개의 업샘플링 블록을 갖는 완전 컨볼루션 네트워크(FCN) 하위 네트워크를 전처리기로 사용한다.
• FCN는 3x3 컨볼루션을 사용하며, 스케일드 지수선형 단위(SeLU) 활성화 함수와 대응하는 다운샘플링 및 업샘플링 블록 간 스킵 연결을 적용한다.
• 18층의 집합적 잔차 컨볼루션 신경망(AggResCNN)을 분류기로 사용하며, 그룹화된 컨볼루션(카디널리티 32)과 잔차 단절을 통합하여 기울기 소실 문제를 줄인다.
• FCN의 출력은 CT 영상과 연결되어 AggResCNN에 입력되며, 전역 평균 풀링과 소프트맥스 레이어를 사용해 이진 분류(생존 대 사망)를 수행한다.
• 데이터 증강(뒤집기, 이동, 회전)을 적용하여 데이터셋을 재균형화하며, 이는 사망 사례가 19%에 불과한(298명 중 56명) 데이터셋을 대상으로 한다.
• 단일 GPU에서 100 에포크 동안 categorical cross-entropy 손실 함수와 Adam 옵timizer(초기 학습률 0.0006)를 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 전처리기는 헤드 앤 넥 암 생존 예측에서 다중 모달 PET-CT 영상 자료의 특징 표현을 향상시킬 수 있는가?
• RQ2 딥 러닝 아키텍처를 통해 PET와 CT 영상을 통합하면 CT만을 사용할 때보다 더 나은 생존 예측 성능을 달성할 수 있는가?
• RQ3 집합적 잔차 컨볼루션은 이전 최고 기술 대비 성능을 유지하거나 향상시키면서도 모델 파라미터를 줄일 수 있는가?
• RQ4 FCN 전처리기는 주된 종양 부피(GTV)를 초월한 특징을 학습함으로써 성능 향상을 이룰 수 있는가?
• RQ5 PET 영상의 포함 여부가 CT 전용 입력 대비 분류 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 FCN+AggResCNN 모델은 TCIA 헤드 앤 넥 암 데이터셋에서 AUC 0.76를 달성하여 이전 최고 기술(0.70) 대비 6% 포인트 향상된 성능을 보였다.
• 모델 파라미터 수는 683,650으로 이전 최고 기술 모델(930,146 파라미터) 대비 27% 감소하였다.
• FCN 전처리기는 PET+CT 입력에서 AUC 0.76를 달성했으며, 기본 AggResCNN(AUC 0.74) 대비 성능 향상을 보여 다중 모달 특징 정규화가 효과적임을 입증했다.
• 마스크된 CT(종양 영역만)에 대한 성능은 CNN 베이스라인에서 전체 CT보다 우수했으나(0.67 vs. 0.57), FCN+AggResCNN 모델은 전체 CT에서 마스크된 CT보다 성능이 뛰어나(0.70 vs. 0.67) FCN가 GTV 외부 유용 특징을 효과적으로 캐치했음을 시사한다.
• PET 전용 입력은 FCN+AggResCNN에서 가장 열악한 성능(AUC 0.57)을 보였으며, 해상도가 낮고 비종양 조직에서의 집합이 없어 PET가 독립적인 예측 능력은 제한적임을 시사한다.
• 모델은 91% 민감도와 61% 특이도를 기록하여 클래스 불균형에도 불구하고 사망 사례를 잘 탐지함을 보였다.