[논문 리뷰] AnatomyNet: Deep 3D Squeeze-and-excitation U-Nets for fast and fully automated whole-volume anatomical segmentation

Wentao Zhu, Yufang Huang외 5명|arXiv (Cornell University)|2018. 08. 16.

Medical Imaging and Analysis참고 문헌 41인용 수 17

한 줄 요약

AnatomyNet는 전체 볼륨을 0.12초 만에 분할하는 빠르고 완전 자동화된 3D 스위즈-익스카이레이션 U-Net로, 약물 등재 없이 두개부 및 경부 부위의 9개 방사선 감수성 기관(OAR)을 CT 영상에서 빠르고 정확하게 분할할 수 있다. 이는 최신 기술 대비 평균 3.3% 향상된 DSC(디스크 상관계수)를 달성한다.

ABSTRACT

Purpose: Radiation therapy (RT) is a common treatment for head and neck (HaN) cancer where therapists are often required to manually delineate boundaries of the organs-at-risks (OARs). The radiation therapy planning is time-consuming as each computed tomography (CT) volumetric data set typically consists of hundreds to thousands of slices and needs to be individually inspected. Automated head and neck anatomical segmentation provides a way to speed up and improve the reproducibility of radiation therapy planning. Previous work on anatomical segmentation is primarily based on atlas registrations, which takes up to hours for one patient and requires sophisticated atlas creation. In this work, we propose the AnatomyNet, an end-to-end and atlas-free three dimensional squeeze-and-excitation U-Net (3D SE U-Net), for fast and fully automated whole-volume HaN anatomical segmentation. Methods: There are two main challenges for fully automated HaN OARs segmentation: 1) challenge in segmenting small anatomies (i.e., optic chiasm and optic nerves) occupying only a few slices, and 2) training model with inconsistent data annotations with missing ground truth for some anatomical structures because of different RT planning. We propose the AnatomyNet that has one down-sampling layer with the trade-off between GPU memory and feature representation capacity, and 3D SE residual blocks for effective feature learning to alleviate these challenges. Moreover, we design a hybrid loss function with the Dice loss and the focal loss. The Dice loss is a class level distribution loss that depends less on the number of voxels in the anatomy, and the focal loss is designed to deal with highly unbalanced segmentation. For missing annotations, we propose masked loss and weighted loss for accurate and balanced weights updating in the learning of the AnatomyNet. Results: We collect 261 HaN CT images to train the AnatomyNet, and use MICCAI Head and Neck Auto Segmentation Challenge 2015 as the benchmark dataset to evaluate the performance of the AnatomyNet. The objective is to segment nine anatomies: brain stem, chiasm, mandible, optic nerve left, optic nerve right, parotid gland left, parotid gland right, submandibular gland left, and submandibular gland right. Compared to previous state-of-the-art methods for each anatomy from the MICCAI 2015 competition, the AnatomyNet increases Dice similarity coefficient (DSC) by 3.3% on average. The proposed AnatomyNet takes only 0.12 seconds on average to segment a whole-volume HaN CT image of an average dimension of 178 x 302 x 225. All the data and code will be available in https://github.com/wentaozhu/AnatomyNet-for-anatomical-segmentation.git. Conclusion: We propose an end-to-end, fast and fully automated deep convolutional network, AnatomyNet, for accurate and whole-volume HaN anatomical segmentation. The proposed AnatomyNet outperforms previous state-of-the-art methods on the benchmark dataset. Extensive experiments demonstrate the effectiveness and good generalization ability of the components in the AnatomyNet. Key words: Fast and fully automated anatomical segmentation, 3D squeeze-and-excitation U-Net (3D SE U-Net), radiation therapy, head and neck organ segmentation

연구 동기 및 목표

• 두개부 및 경부 암 방사선 치료 계획에서 방사선 감수성 기관(OAR)의 수동 묘화가 시간이 오래 걸리고 일관성이 떨어지는 문제를 해결하기 위해.
• 오직 몇 개의 슬라이스에 해당하는 작은 해부학적 구조물, 예를 들어 시교차 및 시신경과 같은 기관의 분할에 직면한 과제를 극복하기 위해.
• 방사선 치료 계획 관행의 다양성으로 인해 일부 기관에 대해 참조 지표가 누락된 임상 데이터의 일관성 없는 묘화 문제를 해결하기 위해.
• 수동적인 약물 정렬에 의존하지 않는 완전 자동화된 엔드 투 엔드 딥 러닝 모델을 개발하기 위해.

제안 방법

• GPU 메모리 사용량과 특징 표현 능력의 균형을 맞추기 위해 단일 다운샘플링 레이어를 갖춘 3D 스위즈-익스카이레이션 U-Net(3D SE U-Net)을 제안한다.
• 채널 기반 특징 반응을 적응적으로 재조정함으로써 특징 학습 능력을 향상시키기 위해 3D 스위즈-익스카이레이션 잔여 블록을 활용한다.
• 클래스 수준의 분포에 대한 강건성 확보를 위해 딱딱한 손실을, 클래스 불균형 문제를 해결하기 위해 포인트 손실을 조합한 하이브리드 손실 함수를 도입한다.
• 가용한 참조 지표 영역에서만 기울기 업데이트를 선택적으로 수행함으로써 누락된 참조 지표를 처리하기 위해 마스크 손실 및 가중 손실 전략을 설계한다.
• MICCAI 2015 챌린지 데이터셋을 기준으로 하여 다중 기관 묘화가 포함된 261개의 두개부 및 경부 CT 볼륨에서 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 약물 정렬에 의존하지 않고 여러 두개부 및 경부 OAR의 전체 볼륨 분할을 신속하고 완전 자동화로 수행할 수 있는가?
• RQ2 3D 스위즈-익스카이레이션 U-Net 아키텍처는 시교차와 같은 작은, 저대비 해부학적 구조물의 분할에 얼마나 효과적인가?
• RQ3 디스크 손실과 포인트 손실을 조합한 하이브리드 손실 함수는 클래스 불균형과 누락된 참조 지표가 존재하는 상황에서 분할 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 마스크 및 가중 손실 전략은 일부 기관에 대해 참조 지표가 누락된 일관성 없는 임상 묘화를 효과적으로 다룰 수 있는가?

주요 결과

• AnatomyNet는 MICCAI 2015 기준 기준에서 두개부 및 경부 OAR 9개에 대해 최신 기술 대비 평균 3.3% 향상된 DSC(디스크 상관계수)를 달성한다.
• 모델는 전체 두개부 및 경부 CT 볼륨(평균 크기 178×302×225)을 단 0.12초 만에 분할하여 높은 추론 속도를 입증한다.
• 3D 스위즈-익스카이레이션 잔여 블록은 특히 시신경과 같은 작은, 저대비 구조물의 특징 표현 능력을 크게 향상시킨다.
• 디스크 손실과 포인트 손실 성분을 포함한 하이브리드 손실 함수는 희귀하고 불균형한 구조물의 분할 성능을 향상시키며, 특히 희박한 묘화가 있는 기관에 유용하다.
• 마스크 및 가중 손실 전략은 일부 해부학적 기관의 참조 지표가 훈련 데이터에 누락된 경우에도 안정적이고 정확한 훈련을 가능하게 한다.
• 모델는 다양한 임상 데이터에서 일관성 없는 묘화 패턴을 보이며 강력한 일반화 능력을 보임을 검증하였다.