[논문 리뷰] Detecting Scatteredly-Distributed, Small, andCritically Important Objects in 3D OncologyImaging via Decision Stratification

Zhuotun Zhu, Ke Yan외 10명|arXiv (Cornell University)|2020. 05. 27.

Advanced Neural Network Applications참고 문헌 35인용 수 7

한 줄 요약

이 논문은 3D 비대조 CT 및 PET 영상에서 산산이 흩어져 있고 크기가 작으며 종양학적으로 중요한 림프절(осLN)을 탐지하기 위한 이단계 결정 분류 프레임워크를 제안한다. 이 프레임워크는 OSLN을 종양에 가까운 영역과 멀리 떨어진 영역으로 분류하고, 각 카테고리별로 별도의 탐지-세분화 네트워크를 훈련시킨다. 또한 전역-국소 네트워크(GLNet)를 활용해 임상적으로 유의미한 3개의 가짜 양성 결과를 기준으로 67%의 재현율을 달성하며, 이는 최신 기술 대비 22% 향상된 성능이다.

ABSTRACT

Finding and identifying scatteredly-distributed, small, and critically important objects in 3D oncology images is very challenging. We focus on the detection and segmentation of oncology-significant (or suspicious cancer metastasized) lymph nodes (OSLNs), which has not been studied before as a computational task. Determining and delineating the spread of OSLNs is essential in defining the corresponding resection/irradiating regions for the downstream workflows of surgical resection and radiotherapy of various cancers. For patients who are treated with radiotherapy, this task is performed by experienced radiation oncologists that involves high-level reasoning on whether LNs are metastasized, which is subject to high inter-observer variations. In this work, we propose a divide-and-conquer decision stratification approach that divides OSLNs into tumor-proximal and tumor-distal categories. This is motivated by the observation that each category has its own different underlying distributions in appearance, size and other characteristics. Two separate detection-by-segmentation networks are trained per category and fused. To further reduce false positives (FP), we present a novel global-local network (GLNet) that combines high-level lesion characteristics with features learned from localized 3D image patches. Our method is evaluated on a dataset of 141 esophageal cancer patients with PET and CT modalities (the largest to-date). Our results significantly improve the recall from $45\%$ to $67\%$ at $3$ FPs per patient as compared to previous state-of-the-art methods. The highest achieved OSLN recall of $0.828$ is clinically relevant and valuable.

연구 동기 및 목표

• 비대조 방사선 치료용 CT(RTCT) 스캔에서 종양학적으로 중요한 림프절(OSLN)을 자동으로 탐지하기 위한 계산적 방법의 부족을 해결하기 위해.
• 낮은 대비, 크기 변동성, 산만한 분포로 인해 기존의 크기 기반 기준으로는 자주 간과되는 OSLN의 도전 과제를 극복하기 위해.
• 종양과의 거리와 다중 모odal 영상(CT/PET)을 기반으로 의사의 사고 방식을 모델링하여 OSLN 탐지의 관찰자 간 변동성을 줄이기 위해.
• 식도암 환자에게 임상적으로 유의미한 환경에서 높은 재현율을 유지하면서도 낮은 가짜 양성 비율을 확보하기 위해.

제안 방법

• 이 방법은 종양에서의 공간적 거리에 따라 OSLN을 종양에 가까운 영역과 멀리 떨어진 영역으로 분류하는 의사결정 분류 전략을 도입하여, 카테고리별 특성 학습이 가능하도록 한다.
• 각각의 종양에 가까운 영역과 멀리 떨어진 영역 OSLN에 대해 별도의 탐지-세분화 네트워크를 훈련시어, 그들의 독특한 외관, 크기, 분포 특성을 모델링한다.
• 전역-국소 네트워크(GLNet)를 제안하여, 사전 훈련된 의미 태깅 모델에서 유도된 전역 병변 특성과 국소 3D 영상 패치 특성을 융합함으로써 제1단계 예측을 정밀하게 보정한다.
• 제1단계 출력은 국소 이미지 패치(CT/PET에서 유도)와 전역 의미 태그를 모두 활용하는 제2단계 분류기로 정제되어 가짜 양성 결과를 억제한다.
• 두 카테고리의 OSLN 예측 결과를 융합하기 위한 이중 스트림 네트워크 융합 전략을 사용하여 전체 탐지 성능의 안정성을 향상시킨다.
• 이 방법은 141명의 식도암 환자로 구성된 대규모 데이터셋(쌍방향 CT 및 PET 영상 포함)에서 평가되었으며, OSLN 탐지 분야에서 지금까지 가장 큰 데이터셋이다.

실험 결과

연구 질문

• RQ1 종양과의 거리에 따라 OSLN을 분류하는 의사결정 분류 접근 방식이 3D 종양학 영상에서 탐지 성능 향상에 기여하는가?
• RQ2 전역 의미적 맥락과 함께 다중 모달 CT 및 PET 영상 통합이 작은, 저대비 OSLN의 탐지에 어떻게 기여하는가?
• RQ3 전역-국소 네트워크(GLNet)는 높은 재현율을 유지하면서도 가짜 양성 결과를 얼마나 효과적으로 줄일 수 있는가?
• RQ4 제안된 이단계 방법은 종합적 재현율과 가짜 양성 결과 통제 측면에서 종단간(end-to-end) 및 단일 단계 기반 모델과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 방법은 환자당 3개의 가짜 양성 결과에서 67%의 재현율을 달성하여 이전 최고 수준의 재현율 45% 대비 뚜렷한 향상이 이루어졌다.
• 달성된 최고의 OSLN 재현율은 0.828로, 치료 계획 수립에 임상적으로 유의미하고 가치 있는 결과이다.
• GLNet를 포함한 이단계 프레임워크는 mFROC 점수 0.645를 기록하여, 최고 성능을 보인 종단간 MULAN 모델(0.475 mFROC) 대비 22% 향상된 성능을 보였다.
• GLNet 구성 요소는 국소 이미지 특징과 전역 의미 맥락을 융합하여 가짜 양성 결과를 크게 감소시켜 제2단계 분류 성능을 향상시켰다.
• 이 방법은 2.5D CNN 기반 모델과 MULAN 모두를 모든 지표에서 승리하여, 카테고리별 특성 학습과 전역-국소 융합의 효과성을 입증했다.
• 결과는 종양과의 거리가 의사의 의사결정 과정에서 핵심적인 요소임을 확인하며, 이를 계산적으로 모델링함으로써 탐지 정확도 향상이 가능하다는 것을 입증한다.