[논문 리뷰] Hierarchical 3D fully convolutional networks for multi-organ segmentation

Holger R. Roth, Hirohisa Oda외 6명|arXiv (Cornell University)|2017. 04. 21.

Advanced Neural Network Applications참고 문헌 12인용 수 119

한 줄 요약

논문은 CT 스캔에서 다기관 분할을 위한 3D FCN(3D U-Net 기반)의 두 단계 거친-정밀(coarse-to-fine) 접근법으로, 각 기관당 평균 Dice 점수를 7.5 퍼센트 포인트 향상시키고 보지 않은 데이터에서 강력한 성능을 보인다.

ABSTRACT

Recent advances in 3D fully convolutional networks (FCN) have made it feasible to produce dense voxel-wise predictions of full volumetric images. In this work, we show that a multi-class 3D FCN trained on manually labeled CT scans of seven abdominal structures (artery, vein, liver, spleen, stomach, gallbladder, and pancreas) can achieve competitive segmentation results, while avoiding the need for handcrafting features or training organ-specific models. To this end, we propose a two-stage, coarse-to-fine approach that trains an FCN model to roughly delineate the organs of interest in the first stage (seeing $\sim$40% of the voxels within a simple, automatically generated binary mask of the patient's body). We then use these predictions of the first-stage FCN to define a candidate region that will be used to train a second FCN. This step reduces the number of voxels the FCN has to classify to $\sim$10% while maintaining a recall high of $>$99%. This second-stage FCN can now focus on more detailed segmentation of the organs. We respectively utilize training and validation sets consisting of 281 and 50 clinical CT images. Our hierarchical approach provides an improved Dice score of 7.5 percentage points per organ on average in our validation set. We furthermore test our models on a completely unseen data collection acquired at a different hospital that includes 150 CT scans with three anatomical labels (liver, spleen, and pancreas). In such challenging organs as the pancreas, our hierarchical approach improves the mean Dice score from 68.5 to 82.2%, achieving the highest reported average score on this dataset.

연구 동기 및 목표

• CT에서 기관별 모델 없이도 정확한 다기관 분할의 필요성을 제시한다.
• 계층적 거친-정밀 FCN이 어려운 경계에 집중할 수 있음을 보인다.
• 다른 병원의 데이터셋 간 일반화 가능성을 시연한다.
• 일곱 가지 복부 구조에서 Dice 점수의 개선을 수치화한다.

제안 방법

• 배경을 포함한 여덟 클래스를 분할하기 위해 3D U-Net FCN을 사용한다.
• 두 단계로 학습한다: Stage 1은 신체 규모의 후보 영역을 대략적으로 구분한다(약 40%의 보셀).
• Stage 2는 더 작은 후보 영역(약 10%의 보셀) 내에서 분할을 정제한다.
• 필드 오브 뷰를 늘리기 위해 입력을 다운샘플링하고 테스트 시 슬라이딩 타일링 전략을 적용한다.
• 전경과 배경 보셀의 불균형을 맞추기 위해 클래스 가중치를 갖는 보셀 단위 교차 엔트로피 손실을 적용한다.
• 무작위 3D 탄성 변형 및 무작위 회전으로 데이터를 증강하여 학습한다.

실험 결과

연구 질문

• RQ1 단일 3D FCN 모델이 기관별 특화 모델 없이 여러 복부 기관을 분할할 수 있는가?
• RQ2 계층적 거친-정밀 접근 방식이 특히 작고 가는 구조의 분할 정확도를 향상시키는가?
• RQ3 다른 병원 및 스캐너에서 본 데이터에 대해 이 방법이 얼마나 잘 일반화되는가?

주요 결과

• 검증에서 기관당 평균 Dice 점수 7.5 퍼센트 포인트 향상(Stage 2 vs Stage 1).
• Stage 1 재현율 > 99%이며 후보 영역을 r=3로 팽창시켰을 때 거짓 양성 약 10%.
• 동맥은 Stage 2에서 59.0에서 79.6 Dice로 향상; 췌장은 54.8에서 63.1 Dice로 향상.
• 미지의 테스트 데이터(liver, spleen, pancreas)에서, Stage 2 비중첩은 췌장은 68.5, 간은 93.2, 비장은 89.7의 평균 Dice를 달성; 중첩 타일링으로 췌장은 82.2 Dice로 향상.
• 본 방법은 미확인 데이터에서 최첨단과 유사한 결과를 달성했고, 간 및 췌장 성능은 계층적 접근의 이점을 받았다.