[논문 리뷰] FocusNet: Imbalanced Large and Small Organ Segmentation with an End-to-End Deep Neural Network for Head and Neck CT Images

Yunhe Gao, Rui Huang외 8명|arXiv (Cornell University)|2019. 07. 28.

Head and Neck Cancer Studies참고 문헌 10인용 수 10

한 줄 요약

FocusNet는 주로 큰 기관을 위한 메인 네트워크와 소기관을 위한 전용 서브넷을 ROI-풀드 다중 척도 특징을 통해 결합함으로써 두개의 뇌경부 CT에서 크기가 극명하게 다른 기관의 불균형 분할 문제를 해결하는 엔드 투 엔드 3D CNN입니다. 이는 실제 환자 데이터와 MICCAI 2015 데이터셋 모두에서 최신 기술 수준(SOTA)의 성능을 달성하며, 평균 95% 하우스도르프 거리가 2.62이고, 딱시 스코어가 80.29로, 체감신경 및 교차부와 같은 작은 기관에서 이전 방법들보다 뚜렷하게 뛰어난 성능을 보입니다.

ABSTRACT

In this paper, we propose an end-to-end deep neural network for solving the problem of imbalanced large and small organ segmentation in head and neck (HaN) CT images. To conduct radiotherapy planning for nasopharyngeal cancer, more than 10 organs-at-risk (normal organs) need to be precisely segmented in advance. However, the size ratio between large and small organs in the head could reach hundreds. Directly using such imbalanced organ annotations to train deep neural networks generally leads to inaccurate small-organ label maps. We propose a novel end-to-end deep neural network to solve this challenging problem by automatically locating, ROI-pooling, and segmenting small organs with specifically designed small-organ sub-networks while maintaining the accuracy of large organ segmentation. A strong main network with densely connected atrous spatial pyramid pooling and squeeze-and-excitation modules is used for segmenting large organs, where large organs' label maps are directly output. For small organs, their probabilistic locations instead of label maps are estimated by the main network. High-resolution and multi-scale feature volumes for each small organ are ROI-pooled according to their locations and are fed into small-organ networks for accurate segmenting small organs. Our proposed network is extensively tested on both collected real data and the \emph{MICCAI Head and Neck Auto Segmentation Challenge 2015} dataset, and shows superior performance compared with state-of-the-art segmentation methods.

연구 동기 및 목표

• 크기가 극명하게 다른 기관(예: 렌즈, 체감신경)이 큰 기관(예: 췌선)에 비해 부피가 훨씬 작아서 작은 기관에서의 모델 성능이 열악해지는 두개의 뇌경부 CT에서의 불균형 분할 문제를 해결하기 위함.
• 불균형 데이터로 훈련된 표준 CNN의 한계를 극복하고, 큰 기관과 작은 기관 모두에서 고정밀도 분할을 동시에 달성할 수 있는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위함.
• 먼저 작은 기관의 위치를 국소화하고, 그 후 고해상도 및 다중 척도 특징 처리를 적용하여 정밀한 분할을 수행함으로써 임상적 분류 관행을 모방하기 위함.
• 클래스 불균형 문제를 완화하기 위해 가중치가 부여된 포칼 손실과 일반화된 딱시 손실을 조합하여 작은 기관의 일반화 및 강인성을 향상시키기 위함.
• 자체 수집한 50명의 환자 스캔 데이터셋과 MICCAI 2015 두개의 뇌경부 자동 분할 챌린지 데이터셋을 바탕으로 방법을 검증하기 위함.

제안 방법

• FocusNet는 세 부분으로 구성된 아키텍처를 사용한다: 큰 기관을 위한 강력한 메인 분할 네트워크(S-Net), 작은 기관의 중심 위치를 예측하는 소기관 국소화 브랜치(SOL-Net), 그리고 정밀한 분할을 위한 소기관 분할 브랜치(SOS-Net).
• S-Net는 밀집 연결된 아트로우스피럴 풀링(DenseASPP)과 스위치-익스카이션 모듈을 사용하여 특징 표현을 향상시키고, 큰 기관의 분할 정확도를 유지한다.
• SOL-Net는 작은 기관의 확률적 중심 지도를 예측하도록 훈련되며, 이는 주 네트워크에서 유도된 고해상도 및 다중 척도 특징의 ROI-풀링을 유도하는 데 사용된다.
• ROI-풀드된 특징들은 소기관의 세밀한 고해상도 분할을 위해 SOS-Net에 입력되며, 낮은 대비와 작은 크기에도 불구하고 정확한 경계 예측이 가능하게 한다.
• 큰 기관과 작은 기관 간의 심각한 클래스 불균형 문제를 해결하기 위해 가중치가 부여된 포칼 손실과 일반화된 딱시 손실을 조합한 손실 함수를 사용하여 전체 네트워크를 공동 최적화한다.
• 모든 브랜치 간에 공유된 특징 볼륨을 사용하여 엔드 투 엔드로 훈련되며, 이는 파rameter 효율성과 일관된 특징 학습을 보장한다.

실험 결과

연구 질문

• RQ1 극명한 크기 불균형이 존재하는 두개의 뇌경부 CT에서, 통합된 딥 러닝 프레임워크가 큰 기관과 작은 기관 모두에서 뛰어난 분할 성능을 달성할 수 있는가?
• RQ2 다중 척도 특징의 ROI-풀링을 통해 작은 기관의 국소화와 분할을 분리함으로써, 기존의 U-Net 스타일 네트워크보다 정확도가 향상되는가?
• RQ3 소기관 중심 위치를 예측하는 전용 국소화 브랜치(SOL-Net)가 후속 분할 네트워크(SOS-Net)의 성능을 향상시키는가?
• RQ4 가중치가 부여된 포칼 손실과 일반화된 딱시 손실의 조합이 불균형 기관 분할 작업에서 모델 수렴 및 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 실제 임상 데이터와 MICCAI 2015와 같은 벤치마크 데이터셋에 대해 일반화가 잘 되어 있으며, 특히 부피가 작은 작은 기관에서 잘 작동하는가?

주요 결과

• FocusNet는 MICCAI 2015 테스트 세트에서 평균 95% 하우스도르프 거리가 2.62로, 다음으로 우수한 방법(6.72)보다 뚜렷하게 뛰어난 경계 정확도를 보였다.
• MICCAI 2015 데이터셋에서 FocusNet는 평균 딱시 스코어 80.29를 기록하여 최고 성능을 낸 방법(79.24)을 능가했으며, 체감신경과 교차부와 같은 작은 기관에서 큰 격차를 보였다.
• 체감신경(좌우)에 대해 FocusNet는 각각 73.5 ± 9.6 및 74.4 ± 7.2의 딱시 스코어를 기록하여, 추가 훈련 데이터를 사용한 이전 방법들 모두를 뛰어넘었다.
• S-Net의 백본만으로도 Zhu 등이 사용한 훈련 데이터의 15%만으로 MICCAI 2015에서 딱시 스코어 79.25를 달성하여 강력한 특징 표현 능력을 보였다.
• 절단 실험 결과, 불균형 문제를 해결하지 않은 채 네트워크 용량을 증가시켜도 성능 향상이 없음을 확인하여, 아키텍처 설계와 손실 함수가 핵심임을 입증했다.
• 소기관에 대한 최적의 ROI 크기는 기관의 한 변 길이의 3배로, 최상의 분할 결과를 얻기 위해 맥락과 해상도를 균형 잡는 데 기여했다.