[논문 리뷰] Deep LOGISMOS: Deep Learning Graph-based 3D Segmentation of Pancreatic Tumors on CT scans

Zhihui Guo, Ling Zhang외 5명|arXiv (Cornell University)|2018. 01. 25.

Advanced Neural Network Applications참고 문헌 1인용 수 13

한 줄 요약

이 논문은 CT 영상에서 3차원 췌장 종양 세그멘테이션을 위한 하이브리드 딥러닝 및 그래프 기반 방법인 Deep LOGISMOS를 제안한다. 문맥적 UNet을 사용해 인tra- 및 inter-slice 문맥을 활용하고, GMM과 형태학적 연산을 통해 예측를 정제하며, UNet에서 유도된 확률 맵을 노드 비용으로 사용해 max-flow를 통해 전역적으로 최적의 세그멘테이션을 달성한다. 이 방법은 DSC 83.2% ± 7.8% 및 RVD 18.6% ± 17.4%를 달성하여 UNet 및 LOGISMOS 단독 사용보다 유의미하게 뛰어난 성능을 보였다.

ABSTRACT

This paper reports Deep LOGISMOS approach to 3D tumor segmentation by incorporating boundary information derived from deep contextual learning to LOGISMOS - layered optimal graph image segmentation of multiple objects and surfaces. Accurate and reliable tumor segmentation is essential to tumor growth analysis and treatment selection. A fully convolutional network (FCN), UNet, is first trained using three adjacent 2D patches centered at the tumor, providing contextual UNet segmentation and probability map for each 2D patch. The UNet segmentation is then refined by Gaussian Mixture Model (GMM) and morphological operations. The refined UNet segmentation is used to provide the initial shape boundary to build a segmentation graph. The cost for each node of the graph is determined by the UNet probability maps. Finally, a max-flow algorithm is employed to find the globally optimal solution thus obtaining the final segmentation. For evaluation, we applied the method to pancreatic tumor segmentation on a dataset of 51 CT scans, among which 30 scans were used for training and 21 for testing. With Deep LOGISMOS, DICE Similarity Coefficient (DSC) and Relative Volume Difference (RVD) reached 83.2+-7.8% and 18.6+-17.4% respectively, both are significantly improved (p<0.05) compared with contextual UNet and/or LOGISMOS alone.

연구 동기 및 목표

• 신뢰할 수 있는 종양 성장 분석 및 치료 계획을 위한 췌장 CT 영상에서 3차원 종양 세그멘테이션 정확도를 향상시키기 위해.
• 2D UNet의 한계를 보완하기 위해, 종양 중심의 세 개의 인접한 2D 슬라이스를 사용한 문맥적 UNet 아키텍처를 통해 인근 슬라이스 간의 문맥을 통합하기 위해.
• LOGISMOS에서 수동 초기화 및 수작업으로 만든 비용이 필요 없도록, 딥러닝에서 유도된 확률 맵을 노드 비용으로 사용하기 위해.
• 매끄러움 제약 조건을 갖는 max-flow 알고리즘을 통해 딥 러닝 특징와 기하학적 매끄러움 제약 조건을 통합해 전역적으로 최적의 세그멘테이션을 달성하기 위해.

제안 방법

• 종양 중심의 세 개의 인접한 2D 슬라이스를 사용해 문맥적 UNet을 훈련하여 확률 맵과 초기 세그멘테이션을 생성한다.
• UNet 출력은 거짓 양성 결과를 제거하고 가장 큰 연결 성분을 유지하기 위해 가우시안 믹스처 모델(GMM)과 형태학적 연산을 통해 정제된다.
• 정제된 UNet 세그멘테이션을 초기 형상 사전 정보로 사용해 세그멘테이션 그래프를 구축한다.
• 그래프의 노드 비용은 UNet 확률 값의 합에서 0.5를 빼는 방식으로 유도되며, 식 (1)을 통해 영역 기반 가능성에서 경계 기반 비용으로 변환된다: $ c_{n_{k,j}} = -\sum_{i=1}^{j}(p(n_{k,i})-0.5) $.
• 매끄러움 제약 조건 하에 최적의 전역 솔루션을 찾기 위해 max-flow 알고리즘을 사용해 최종 세그멘테이션을 계산한다.
• 이 방법은 51개의 CT 스캔에서 평가되었으며, 훈련에 30개, 테스트에 21개가 사용되었고, DSC와 RVD가 평가 지표로 사용되었다.

실험 결과

연구 질문

• RQ1 문맥적 UNet을 통해 인근 슬라이스 간의 문맥을 통합함으로써, 표준 2D UNet에 비해 3차원 종양 세그멘테이션 성능이 향상되는가?
• RQ2 GMM 및 형태학적 정제가 UNet 기반 종양 세그멘테이션에서 거짓 양성 결과를 유의미하게 감소시키는가?
• RQ3 딥러닝에서 유도된 확률 맵이 LOGISMOS 그래프 프레임워크에서 수작업으로 만든 특징을 효과적으로 대체할 수 있는가?
• RQ4 문맥적 UNet과 LOGISMOS를 통합함으로써, 각각 단독으로 사용할 경우보다 뛰어난 세그멘테이션 정확도를 달성하는가?
• RQ5 제안된 Deep LOGISMOS 프레임워크가 작은 크기 또는 명확하지 않은 종양에 일반화 가능한가?

주요 결과

• 문맥적 UNet은 DSC 75.6% ± 16.6% 및 RVD 35.7% ± 29.7%를 달성했으며, p < 0.05에서 2D UNet(DSC: 72.8% ± 22.0%, RVD: 42.5% ± 32.8%)보다 유의미하게 향상된 성능을 보였다.
• 정제된 UNet 세그멘테이션(DSC: 81.6% ± 11.2%, RVD: 26.1% ± 20.9%)은 정제 없이 사용한 경우보다 유의미하게 뛰어난 성능을 보였다(p < 0.05).
• Deep LOGISMOS는 DSC 83.2% ± 7.8% 및 RVD 18.6% ± 17.4%를 달성해, 정제된 문맥적 UNet 및 원래의 LOGISMOS보다 유의미하게 뛰어난 성능을 보였다(p < 0.05).
• 원래의 LOGISMOS는 3개의 작은 종양을 완전히 탐지하지 못했으며, 나머지 18개 종양에서 평균 DSC 70.4% ± 27.7% 및 RVD 35.4% ± 51.1%를 기록했다.
• 3D 뷰에서의 정성적 결과는 Deep LOGISMOS가 UNet 및 LOGISMOS 단독 사용보다 더 매끄럽고 정확한 세그멘테이션을 생성함을 확인했다.
• 이 방법은 노이즈에 강건하고 약한 경계에 대해서도 잘 작동했으며, 그래프 기반 최적화 덕분에 기하학적 및 매끄러움 제약 조건 하에 전역적으로 최적의 솔루션을 보장했다.