[논문 리뷰] Spatial Aggregation of Holistically-Nested Convolutional Neural Networks for Automated Pancreas Localization and Segmentation

Holger R. Roth, Le Lü외 5명|arXiv (Cornell University)|2017. 01. 31.

Advanced Neural Network Applications참고 문헌 38인용 수 14

한 줄 요약

이 논문은 축삭, 경사, 관절 단면도에서의 전체적으로 통합된 컨volution 네트워크(HNNs)를 사용하여 3D CT 스캔에서 자동화된 췌장 국소화 및 분할을 위한 이단계 딥러닝 프레임워크를 제안한다. 공간 풀링을 통한 픽셀별 확률 맵 융합 및 중위치 내부 및 경계 특징 통합을 통해 4중 교차검증 하에서 최신 기술(Dice similarity coefficient) 81.27% ± 6.27%를 달 đạt한다.

ABSTRACT

Accurate and automatic organ segmentation from 3D radiological scans is an important yet challenging problem for medical image analysis. Specifically, the pancreas demonstrates very high inter-patient anatomical variability in both its shape and volume. In this paper, we present an automated system using 3D computed tomography (CT) volumes via a two-stage cascaded approach: pancreas localization and segmentation. For the first step, we localize the pancreas from the entire 3D CT scan, providing a reliable bounding box for the more refined segmentation step. We introduce a fully deep-learning approach, based on an efficient application of holistically-nested convolutional networks (HNNs) on the three orthogonal axial, sagittal, and coronal views. The resulting HNN per-pixel probability maps are then fused using pooling to reliably produce a 3D bounding box of the pancreas that maximizes the recall. We show that our introduced localizer compares favorably to both a conventional non-deep-learning method and a recent hybrid approach based on spatial aggregation of superpixels using random forest classification. The second, segmentation, phase operates within the computed bounding box and integrates semantic mid-level cues of deeply-learned organ interior and boundary maps, obtained by two additional and separate realizations of HNNs. By integrating these two mid-level cues, our method is capable of generating boundary-preserving pixel-wise class label maps that result in the final pancreas segmentation. Quantitative evaluation is performed on a publicly available dataset of 82 patient CT scans using 4-fold cross-validation (CV). We achieve a Dice similarity coefficient (DSC) of 81.27+/-6.27% in validation, which significantly outperforms previous state-of-the art methods that report DSCs of 71.80+/-10.70% and 78.01+/-8.20%, respectively, using the same dataset.

연구 동기 및 목표

• 췌장의 형태와 크기의 높은 해부학적 변동성으로 인해 3D CT 스캔에서 분할 정확도가 제한되는 문제를 해결한다.
• 극도로 변형 가능한 특성으로 인해 전통적인 상향식 방법(예: 다중 애슬라스 정렬 및 통계적 형태 모델링)의 한계를 극복한다.
• 이전 최신 기술 방법보다 분할 정확도와 안정성을 향상시킨 견고한 종단 간 딥러닝 접근법을 개발한다.
• 완전 컨volution형 HNN를 사용하여 중위치 시각적 특징—기관 내부 및 경계 맵—을 통합하여 경계 유지 및 분할 정밀도를 향상시킨다.
• 이전 방법이 수시간의 처리 시간을 요구하는 데 비해, 계산 비용을 줄여 임상 적용에 더 실용적인 성능을 달성한다.

제안 방법

• 세 개의 수직 2D 시야도(축삭, 경사, 관절)에서 3D 경계 상자 추정을 통해 췌장을 먼저 국소화하는 이중단계 연쇄 프레임워크를 사용한다.
• HNN를 적용하여 각 시야도에서 계층적 특징과 맥락 정보를 캡처하는 픽셀별 확률 맵을 생성한다.
• HNN 출력을 최대 풀링 및 평균 풀링 전략을 사용하여 융합하여 췌장 국소화의 최대 재현율을 확보하는 신뢰할 수 있는 3D 경계 상자를 생성한다.
• 국소화된 경계 상자 내에서 두 개의 별도 HNN를 사용하여 분할을 수행한다: 하나는 기관 내부(HNN-I)에 대해, 다른 하나는 경계 반응(HNN-B)에 대해, 중위치 특징 통합을 가능하게 한다.
• 공간 집계 및 랜덤 포레스트 기반 융합(HNN-RF)을 통해 내부 및 경계 예측을 융합하여 분할을 정밀화하고 경계 정확도를 향상시킨다.
• 제한된 의료 학습 데이터에도 불구하고 특징 학습을 향상시키기 위해 ImageNet 사전 학습 모델을 미세 조정하여 전이 학습을 활용한다.

실험 결과

연구 질문

• RQ1 다중 시야, 공간 집합 HNN 프레임워크는 기존의 비딥러닝 및 하이브리드 슈퍼픽셀 기반 방법보다 췌장 국소화에서 더 뛰어난 성능을 보일 수 있는가?
• RQ2 별도의 HNN를 통해 중위치 기관 내부 및 경계 특징을 통합하면 단일 작업 모델 대비 분할 정확도 및 경계 유지에 있어 향상되는가?
• RQ3 2D 다중 시야 접근법은 3D CNN에서 흔히 발생하는 차원의 극복 문제와 과적합 문제를 완화하면서도 높은 성능을 유지할 수 있는가?
• RQ4 표준 4중 교차검증 하에서 이전 최신 기술 방법과 비교해 이 방법의 DSC, 하우스도르프 거리 및 통계적 안정성(표준편차) 측면에서 어떻게 성능을 내는가?
• RQ5 최악의 상황에서 HNN-RF 융합 전략은 HNN-meanmax 기반 기준 대비 더 견고한가, 특히 경계 일관성 측면에서 더 낫기만 한가?

주요 결과

• 이 방법은 4중 교차검증을 사용하여 82명의 환자 CT 스캔에서 평균 DSC 81.27% ± 6.27%를 달성하였으며, 이는 이전 최신 기술 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 경계 반응을 통합한 HNN-RF 변종은 최악의 경우 성능을 향상시켰으며, HNN-meanmax 대비 통계적으로 유의미한 하우스도르프 거리 감소(p < 0.001)를 보였다.
• 이 방법은 최소 DSC 50.69%(HNN-RF) 및 44.69%(HNN-meanmax)를 기록하여, 일부 경우 DSC < 10%를 보고한 이전 연구들보다 더 뛰어난 내성성을 보였다.
• DSC의 표준편차(6.27%)는 이전 방법들(예: [7]에서 10.70%)보다 상당히 낮아 환자 간 통계적 안정성과 일관성이 향상됨을 나타낸다.
• 계산 비용은 스캔당 단지 2~3분으로, 이전 방법이 수시간이 소요된 것에 비해 훨씬 빠르며, 임상 적용에 더 실용적이다.
• 대규모 자연 이미지 데이터셋에서 사전 학습된 모델을 사용한 2D 시야도 활용은 제한된 의료 학습 데이터에도 효과적인 특징 학습을 가능하게 하여 일반화 가능성에 기여한다.