[논문 리뷰] DeepOrgan: Multi-level Deep Convolutional Networks for Automated Pancreas Segmentation

Holger R. Roth|arXiv (Cornell University)|2015. 06. 22.

Advanced Neural Network Applications참고 문헌 12인용 수 137

한 줄 요약

이 논문은 복부 CT 영상에서 자동 췌장 분할을 위한 다수준 딥 컨volution 네트워크 프레임워크인 DeepOrgan을 제안한다. 이는 굵은 정도에서 세밀한 정도로, 바닥에서부터 시작하는 접근 방식을 취한다. 밀도 있는 패치 수준의 레이블링과 다중 척도의 문맥적 특징을 활용하며, CT 강도와 확률 맵을 공동으로 학습하는 지역 기반 ConvNets를 결합하여, 4겹 교차 검증에서 82명의 환자에서 최고 성능을 기록한 71.8% ± 10.7%의 DSC(Dice Similarity Coefficient)를 달성한다.

ABSTRACT

Automatic organ segmentation is an important yet challenging problem for medical image analysis. The pancreas is an abdominal organ with very high anatomical variability. This inhibits previous segmentation methods from achieving high accuracies, especially compared to other organs such as the liver, heart or kidneys. In this paper, we present a probabilistic bottom-up approach for pancreas segmentation in abdominal computed tomography (CT) scans, using multi-level deep convolutional networks (ConvNets). We propose and evaluate several variations of deep ConvNets in the context of hierarchical, coarse-to-fine classification on image patches and regions, i.e. superpixels. We first present a dense labeling of local image patches via $P{-}\mathrm{ConvNet}$ and nearest neighbor fusion. Then we describe a regional ConvNet ($R_1{-}\mathrm{ConvNet}$) that samples a set of bounding boxes around each image superpixel at different scales of contexts in a "zoom-out" fashion. Our ConvNets learn to assign class probabilities for each superpixel region of being pancreas. Last, we study a stacked $R_2{-}\mathrm{ConvNet}$ leveraging the joint space of CT intensities and the $P{-}\mathrm{ConvNet}$ dense probability maps. Both 3D Gaussian smoothing and 2D conditional random fields are exploited as structured predictions for post-processing. We evaluate on CT images of 82 patients in 4-fold cross-validation. We achieve a Dice Similarity Coefficient of 83.6$\pm$6.3% in training and 71.8$\pm$10.7% in testing.

연구 동기 및 목표

• 높은 해부학적 변동성이 있는 췌장 분할 문제에 대응하여 이전 방법들의 성능을 제한하는 요소를 해결한다.
• 상향식의 다중 아틀라스 레지지스트레이션과 레이블 융합의 한계를 극복하기 위해 하향식이 아닌 바닥에서부터 시작하는 굵은 정도에서 세밀한 정도의 분류 전략을 채택한다.
• 이미지 패치와 슈퍼픽셀 영역에 대한 딥 러닝을 활용하여 복부 CT에서의 췌장 분할 정확도와 강인성을 향상시킨다.
• 딥 ConvNets와 구조적 예측 기법을 활용하여 췌장 분할 분야에서 최고 성능을 달성한다.
• 다양한 환자 해부학에 걸쳐 높은 정확도와 일반화 능력을 유지하면서도 효율적인 추론(1~3분/볼륨)을 가능하게 한다.

제안 방법

• 엔트로피 비율 기반 분할과 이중 수준의 랜덤 포레스트 분류기를 사용하여 초기 슈퍼픽셀 영역을 생성하여 고감도, 저정밀도의 후보 영역을 만든다.
• 패치 수준의 ConvNet(P-ConvNet)을 적용하여 축- coronal- sagittal 영상 패치에 대해 밀도 있는 슬라이딩 윈도우 분류를 수행하여 위치 기반 확률 맵을 생성한다.
• 각 슈퍼픽셀 주변의 다양한 척도에서 여러 경계 상자 샘플링을 수행하는 지역 기반 ConvNet(R₁-ConvNet)을 구현하여 다중 척도의 문맥적 정보를 캡처한다.
• P-ConvNet이 생성한 확률 맵과 원시 CT 강도 볼륨을 동시에 학습하는 스택형 R₂-ConvNet을 도입하여 분할 예측을 정밀하게 개선한다.
• 공간 일관성과 경계 정확도를 향상시키기 위해 3D 가우시안 스무딩과 2D 조건부 랜덤 필드(CRF)를 구조적 예측 후처리로 적용한다.
• 82명의 환자 CT 영상에서 4겹 교차 검증을 통해 모델을 최적화하고, DSC(Dice Similarity Coefficient)를 성능 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 높은 해부학적 변동성으로 인해 기존 방법의 성능이 제한되는 상황에서, 다수준 딥 ConvNet 프레임워크가 췌장 분할 정확도를 향상시킬 수 있는가?
• RQ2 '확대' 방식의 지역 기반 ConvNet을 통해 다중 척도의 문맥적 특징을 통합함으로써 도전적인 슈퍼픽셀 후보에 대한 분할 성능 향상이 가능한가?
• RQ3 원시 CT 강도와 딥 ConvNet 확률 맵을 공동으로 학습함으로써 분할의 강인성과 정확도를 추가로 향상시킬 수 있는가?
• RQ4 3D 가우시안 스무딩과 2D CRF를 통한 구조적 예측이 최종 분할 품질과 경계 정밀도에 어떤 영향을 미치는가?
• RQ5 제안된 굵은 정도에서 세밀한 정도로의 하향식 접근 방식이 새로운 데이터에 대해 얼마나 일반화되며, 다양한 환자 해부학에서 성능 변동성을 얼마나 줄이는가?

주요 결과

• 제안된 DeepOrgan 프레임워크는 독립 테스트 데이터에서 평균 DSC(Dice Similarity Coefficient) 71.8% ± 10.7%를 기록하여, 출판 당시 문헌에 보고된 바 가장 높은 DSC를 기록했다.
• 학습 DSC는 83.6% ± 6.3%에 도달하여, 높은 해부학적 변동성에도 불구하고 강한 일반화 능력과 낮은 과적합을 보여주었다.
• 3D 가우시안 스무딩 적용 후 표면 간 거리가 통계적으로 유의미하게(0.01 < p) 1.46 ± 1.5 mm에서 0.94 ± 0.6 mm로 유의미하게 향상되었다.
• 테스트에서 유일한 이방성 사례 두 건을 제외하고 나머지 모든 사례의 DSC는 40% 이하가 아니었으며, 대부분 50%를 초과하여 이전 방법들에 비해 높은 강인성과 안정성을 입증했다.
• CRF 후처리 단계에서 DSC는 68.2% ± 4.1%로, 스무딩된 G(P₂(x)) 출력(71.8%)보다 낮게 나타나, 딥 ConvNet 확률 맵이 이미 매우 최적화되어 있음을 시사한다.
• 추론 시간은 1~3분/볼륨으로 효율적이며, 이는 이전 방법들이 수 시간이 소요되던 것에 비해 크게 빠르며, 높은 정확도를 유지한다.