[논문 리뷰] Accurate Esophageal Gross Tumor Volume Segmentation in PET/CT using Two-Stream Chained 3D Deep Network Fusion

Dakai Jin, Dazhou Guo외 5명|arXiv (Cornell University)|2019. 09. 04.

Medical Imaging Techniques and Applications참고 문헌 17인용 수 13

한 줄 요약

이 논문은 PET와 RTCT 영상을 융합하여 식도 악성 종양 볼륨(GTV) 분할을 향상시키기 위해 이중 스트림 연결형 3D 딥 러닝 프레임워크를 제안한다. 해부학적 정렬과 새로운 프로그레시브 시맨틱 네스티드 네트워크(PSNN)를 활용하여 이전 최고 성능 대비 11% 절대적인 DSC 향상(0.764 ± 0.134)을 달성하였으며, 하우스도르프 거리와 표면 거리가 감소하였다.

ABSTRACT

Gross tumor volume (GTV) segmentation is a critical step in esophageal cancer radiotherapy treatment planning. Inconsistencies across oncologists and prohibitive labor costs motivate automated approaches for this task. However, leading approaches are only applied to radiotherapy computed tomography (RTCT) images taken prior to treatment. This limits the performance as RTCT suffers from low contrast between the esophagus, tumor, and surrounding tissues. In this paper, we aim to exploit both RTCT and positron emission tomography (PET) imaging modalities to facilitate more accurate GTV segmentation. By utilizing PET, we emulate medical professionals who frequently delineate GTV boundaries through observation of the RTCT images obtained after prescribing radiotherapy and PET/CT images acquired earlier for cancer staging. To take advantage of both modalities, we present a two-stream chained segmentation approach that effectively fuses the CT and PET modalities via early and late 3D deep-network-based fusion. Furthermore, to effect the fusion and segmentation we propose a simple yet effective progressive semantically nested network (PSNN) model that outperforms more complicated models. Extensive 5-fold cross-validation on 110 esophageal cancer patients, the largest analysis to date, demonstrates that both the proposed two-stream chained segmentation pipeline and the PSNN model can significantly improve the quantitative performance over the previous state-of-the-art work by 11% in absolute Dice score (DSC) (from 0.654 to 0.764) and, at the same time, reducing the Hausdorff distance from 129 mm to 47 mm.

연구 동기 및 목표

• 식도암 방사선 치료 계획에서 일관성 없고 시간이 오래 소요되는 수동 GTV 분할 문제를 해결한다.
• 낮은 연조직 대비와 뚜렷하지 않은 종양 경계로 인해 RTCT만으로는 제한된 분할 성능을 보이는 문제를 극복한다.
• 조직 단계 평가를 위해 이전에 확보한 진단용 PET/CT 스캔을 활용하여, 시간적 불일치가 존재함에도 불구하고 RTCT 기반 GTV 분할을 향상시킨다.
• PET(높은 대사 대비)와 CT(解剖적 세부 정보)의 보완적 정보를 융합하여 개선된 분할 정확도를 달성하는 강력하고 자동화된 방법을 개발한다.
• 현재까지 가장 큰 식도 GTV 분할 데이터셋(n=110명 환자)에서 최고 성능을 입증한다.

제안 방법

• 장기적인 RTCT와 PET/CT 스캔을 해부학적 기반 초기화를 통해 정렬하여 다중 모odal 융합을 위한 기반을 마련한다.
• 이중 스트림 연결형 파이프라인 설계: 한 스트림은 해부학적 맥락을 위해 RTCT만 처리하고, 다른 스트림은 정렬된 PET와 RTCT를 융합하여 대사 민감도를 확보한다.
• 진행적 시맨틱 네스팅 네트워크(PSNN) 도입: 고수준의 시맨틱 특징을 저수준의 고해상도 특징으로 전파하는 3D U-Net 변종이며, 깊은 감독 기반 설계를 구현한다.
• 에코더에서 PET와 CT 입력을 조기에 융합하는(Early Fusion, EF) 방식과 디코더에서 특징 맵을 후기적으로 융합하는(Late Fusion, LF) 방식을 결합하여 보완적 정보를 통합한다.
• 전체 볼륨 예측을 위해 80×80×64 크기의 서브볼륨과 48×48×32의 스텝을 사용한 3D 슬라이딩 윈도우 추론을 구현하고, 확률 맵 집계를 수행한다.
• 모델을 Adam 옵timizer를 사용하여 40 에포크 동안 훈련시키며, 가중치 감쇠와 모멘텀을 적용하고, 환자 수준에서 5폴드 교차 검증을 실시한다.

실험 결과

연구 질문

• RQ1 진단용 PET와 치료 단계 CT를 함께 사용할 경우, RTCT만을 사용하는 것과 비교해 GTV 분할 정확도가 향상되는가?
• RQ2 PET와 CT 입력을 조기에 융합하는 것과 후기적으로 융합하는 것의 GTV 분할 성능는 어떻게 비교되는가?
• RQ3 제안된 PSNN 아키텍처는 기존의 3D U-Net 및 P-HNN 기반 모델보다 식도 GTV 분할에서 뛰어난 성능을 보이는가?
• RQ4 특히 종양 경계가 모호한 경우에서, 이중 스트림 연결형 융합 파이프라인은 분할 오류를 얼마나 줄이는가?
• RQ5 현재까지 가장 큰 식도 GTV 데이터셋을 기반으로 하여, 이 방법은 다양한 환자 해부학적 구조와 종양 양상에 대해 일반화 가능한가?

주요 결과

• 제안된 PSNN 모델은 DSC가 0.764 ± 0.134를 기록하여 이전 최고 성능인 DenseUNet(0.654 ± 0.210) 대비 11% 절대적인 향상을 달성하였다.
• 하우스도르프 거리는 DenseUNet의 129.0 ± 73.0 mm에서 최적의 PSNN 기반 파이프라인으로서 47.1 ± 56.0 mm로 감소하여 경계 정확도 향상이 뚜렷하게 나타났다.
• 지표와의 평균 표면 거리(ASD)는 3.2 ± 3.3 mm로 감소하여 이전 최고 방법 대비 2.0 mm 향상되었다.
• 이중 스트림 연결형 융합 파이프라인(EF+LF)은 모든 백본 네트워크(DenseUNet, P-HNN, PSNN)에서 일관되게 성능 향상을 보였으며, 일반화 능력을 입증하였다.
• PSNN 모델은 RTCT만으로 훈련된 경우에도 P-HNN 및 DenseUNet를 모두 초월하여, 뛰어난 특징 학습 능력과 깊은 감독 설계의 우수성을 입증하였다.
• 이 방법은 현재까지 가장 큰 식도 GTV 분할 데이터셋(n=110명 환자)에서 최고 성능을 기록하여, 강건성과 확장성의 유효성을 입증하였다.