[논문 리뷰] Overview of the HECKTOR Challenge at MICCAI 2021: Automatic Head and Neck Tumor Segmentation and Outcome Prediction in PET/CT Images

Vincent Andrearczyk, Valentin Oreiller외 9명|arXiv (Cornell University)|2022. 01. 11.

Radiomics and Machine Learning in Medical Imaging인용 수 9

한 줄 요약

이 논문은 MICCAI 2021에서 개최된 HECKTOR 챌린지의 개요를 제시하며, 딥러닝을 활용한 FDG-PET/CT 영상에서의 두부 및 경부 종양의 자동 분할 및 무진행 생존 예측을 평가한다. 최고의 모델들은 종양 분할에서 DSC 점수 0.7591을 기록했고, 진단 기반 종양 윤곽선이 없는 경우와 있는 경우의 C-index 값은 각각 0.7196과 0.6978이었으며, 이는 수동 GTV 윤곽선 작성 없이도 완전 자동화된 방법이 높은 성능을 달성할 수 있음을 시사한다.

ABSTRACT

This paper presents an overview of the second edition of the HEad and neCK TumOR (HECKTOR) challenge, organized as a satellite event of the 24th International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI) 2021. The challenge is composed of three tasks related to the automatic analysis of PET/CT images for patients with Head and Neck cancer (H&N), focusing on the oropharynx region. Task 1 is the automatic segmentation of H&N primary Gross Tumor Volume (GTVt) in FDG-PET/CT images. Task 2 is the automatic prediction of Progression Free Survival (PFS) from the same FDG-PET/CT. Finally, Task 3 is the same as Task 2 with ground truth GTVt annotations provided to the participants. The data were collected from six centers for a total of 325 images, split into 224 training and 101 testing cases. The interest in the challenge was highlighted by the important participation with 103 registered teams and 448 result submissions. The best methods obtained a Dice Similarity Coefficient (DSC) of 0.7591 in the first task, and a Concordance index (C-index) of 0.7196 and 0.6978 in Tasks 2 and 3, respectively. In all tasks, simplicity of the approach was found to be key to ensure generalization performance. The comparison of the PFS prediction performance in Tasks 2 and 3 suggests that providing the GTVt contour was not crucial to achieve best results, which indicates that fully automatic methods can be used. This potentially obviates the need for GTVt contouring, opening avenues for reproducible and large scale radiomics studies including thousands potential subjects.

연구 동기 및 목표

• FDG-PET/CT 영상에서 주요 두부 및 경부 종양의 자동 분할 방법을 개발하고 평가하는 것.
• 수동 종양 윤곽선에 의존하지 않고 PET/CT 영상에서 진행 없음 생존(Progression-Free Survival, PFS)을 예측하는 것.
• 기본 제공된 종양 윤곽선(Ground Truth, GT)이 생존 예측 성능에 미치는 영향을 평가하는 것.
• 시간이 오래 소요되는 수동 분할에 의존도를 줄임으로써 대규모로 반복 가능한 레이디오믹스 연구를 가능하게 하는 것.
• 다양한 영상 프로토콜과 병원에서 수집된 데이터에 대해 딥러닝 모델의 일반화 능력을 평가하는 것.

제안 방법

• 챌린지는 6개 기관에서 수집한 총 325건의 FDG-PET/CT 스캔을 포함하는 다기관 데이터셋을 사용하였으며, 훈련용 224건과 테스트용 101건으로 분할되었다.
• 참가자들은 주로 3D U-Net 아키텍처를 활용한 딥러닝 모델을 적용하여 종양 분할(과제 1)과 생존 예측(과제 2 및 3)을 수행하였다.
• 생존 예측을 위해, PET 및 CT 영상에서 추출한 레이디오믹스 특징을 기반으로 모델을 훈련시켰으며, 이는 수동 GTV 분할 여부에 따라 달라졌다.
• 영상 전처리로는 표준화된 재구성 프로토콜을 적용하였으며, 이는 시간 도래 기반 및 해상도 모델링을 포함한 OSEM 반복 재구성 방식을 포함하였다.
• 평가 지표로는 분할에 대해 딱딱성 유사도 계수(Dice Similarity Coefficient, DSC)와 생존 예측에 대해 일치 지수(Concordance index, C-index)를 사용하였다.
• 모든 참가자들의 결과 평가를 위해 AIcrowd 플랫폼을 사용하여 표준화된 평가 환경을 제공함으로써 결과의 재현성과 공정성을 확보하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 다기관 FDG-PET/CT 영상에서 두부 및 경부 종양의 자동 분할을 높은 성능으로 달성할 수 있는가?
• RQ2 기본 제공된 종양 윤곽선(Ground Truth)이 진행 없음 생존 예측 정확도에 유의미한 영향을 미치는가?
• RQ3 레이디오믹스 기반 예후 예측에서 완전 자동화된 방법이 수동 GTV 윤곽선 작성의 필요성을 얼마나 대체할 수 있는가?
• RQ4 다양한 영상 프로토콜과 스캐너 유형을 포함한 다기관 의료 영상에서 딥러닝 모델의 일반화 능력은 어느 정도인가?
• RQ5 자동 분할 및 예후 예측 파이프라인은 대규모로 반복 가능한 레이디오믹스 연구를 지원할 수 있는가?

주요 결과

• 최고의 성능을 보인 모델은 종양 분할에서 수동 윤곽선과의 일치도를 고려한 딱딱성 유사도 계수(Dice Similarity Coefficient, DSC) 0.7591을 기록하여 높은 일치도를 보였다.
• 진행 없음 생존 예측에 있어서 최고의 모델은 과제 2(수동 GTV 윤곽선 없음)에서 C-index 0.7196을 기록하여 높은 예측 성능을 입증하였다.
• 과제 3(수동 GTV 윤곽선 있음)의 C-index는 0.6978이었으며, 이는 GTV 윤곽선 제공가지 성능 향상이 유의미하지 않음을 시사한다.
• 결과는 수동 GTV 윤곽선 작성 없이도 완전 자동화된 방법이 높은 성능을 달성할 수 있음을 시사하며, 시간이 오래 소요되는 수동 윤곽선 작성에 대한 의존도를 줄일 수 있음을 보여준다.
• 모델 아키텍처의 단순성은 다양한 영상 센터와 프로토콜 간의 양호한 일반화 능력 달성에 핵심 요소로 나타났다.
• 챌린지는 자동 분할 파이프라인을 활용한 대규모로 반복 가능한 레이디오믹스 연구의 가능성을 입증하였다.