[논문 리뷰] Kid-Net: Convolution Networks for Kidney Vessels Segmentation from CT-Volumes

Ahmed Taha, Pechin Lo외 2명|arXiv (Cornell University)|2018. 06. 18.

Advanced X-ray and CT Imaging인용 수 7

한 줄 요약

Kid-Net은 3D U-Net 구조를 참고한 컨volutional 신경망으로, GPU 메모리 제약을 극복하기 위해 3D 패치로 훈련함으로써 CT 볼륨에서 신장 혈관(artery, vein, ureter)의 고해상도 분할을 가능하게 한다. 클래스 불균형을 해결하고 잠재적 오진을 줄이기 위해 동적 가중치 할당과 무작위 샘플링을 도입하여 최신 기술 수준의 성능을 달성하였으며, 512×512×512 볼륨당 1~2분 이내로 추론 시간을 단축시켜 수시간이 걸리던 분할 작업을 몇 분 내로 단축시켰다.

ABSTRACT

Semantic image segmentation plays an important role in modeling patient-specific anatomy. We propose a convolution neural network, called Kid-Net, along with a training schema to segment kidney vessels: artery, vein and collecting system. Such segmentation is vital during the surgical planning phase in which medical decisions are made before surgical incision. Our main contribution is developing a training schema that handles unbalanced data, reduces false positives and enables high-resolution segmentation with a limited memory budget. These objectives are attained using dynamic weighting, random sampling and 3D patch segmentation. Manual medical image annotation is both time-consuming and expensive. Kid-Net reduces kidney vessels segmentation time from matter of hours to minutes. It is trained end-to-end using 3D patches from volumetric CT-images. A complete segmentation for a 512x512x512 CT-volume is obtained within a few minutes (1-2 mins) by stitching the output 3D patches together. Feature down-sampling and up-sampling are utilized to achieve higher classification and localization accuracies. Quantitative and qualitative evaluation results on a challenging testing dataset show Kid-Net competence.

연구 동기 및 목표

• 제한된 GPU 메모리 조건에서도 큰 3D CT 볼륨에서 신장 혈관(artery, vein, ureter)의 정확하고 고해상도 분할을 가능하게 하는 것.
• 의료 영상 분할에서 전경(혈관)과 배경(비혈관) 볼륨 간 심각한 클래스 불균형 문제를 해결하는 것.
• 특히 수동으로 레이블링이 어려운 혈관인 요관과 같은 미세한 혈관에서의 오진 탐지 수를 줄이는 것.
• 자르기나 해상도를 낮추는 수동 전처리 과정이 필요 없도록 엔드 투 엔드 패치 기반 훈련을 가능하게 하는 것.
• 지속적인 국소화 정확도를 유지하면서 희박한 참값 레이블(annotation)을 처리할 수 있는 엔드 투 엔드 학습을 지원하는 훈련 철학을 개발하는 것.

제안 방법

• Kid-Net은 인코더(다운샘플링)와 디코더(업샘플링) 단계를 갖춘 3D U-Net 유사 아키텍처를 사용하여 계층적 특징을 학습하고 구조의 국소화를 달성한다.
• 다중 스케일 수준 간의 기울기 흐름과 특징 재구성 향상을 위해 업샘플링 경로에 잔차 연결을 적용한다.
• GPU 메모리 제약을 피하기 위해 전체 CT 볼륨에서 추출한 96×96×96 3D 패치를 기반으로 네트워크를 훈련시킨다.
• 훈련 중에 볼륨 단위의 동적 가중치 할당을 적용하여 부족한 클래스(특히 요관)에 더 높은 손실 가중치를 할당함으로써 클래스 불균형 문제를 완화한다.
• 특히 전경이 적은 영역에서 오진을 줄이기 위해 배경 볼륨의 무작위 샘플링을 사용한다.
• 최종 분할 결과는 잔차 연결에서 유도된 다수의 업샘플링 출력을 평균화하여 확보함으로써 정확도와 해상도를 향상시킨다.

실험 결과

연구 질문

• RQ1 전체 볼륨 메모리가 부족한 상황에서도 3D 컨volution 네트워크가 전체 CT 볼륨에서 고해상도 신장 혈관 분할을 수행할 수 있는가?
• RQ2 신장 혈관 분할에서 심각한 전경-배경 클래스 불균형 문제를 훈련 단계에서 효과적으로 완화할 수 있는가?
• RQ3 동적 가중치 할당과 무작위 샘플링이 요관과 같이 미세하고 레이블링이 어려운 혈관의 분할 정확도를 얼마나 향상시키는가?
• RQ4 엔드 투 엔드 학습이 가능한 패치 기반 훈련 방식이 전통적인 슬라이스 기반 또는 전체 볼륨 기반 접근 방식보다 국소화 정확도와 정확도 측면에서 뛰어나게 작용하는가?
• RQ5 참값 레이블이 희박하고 불완전한 상황에서 제안된 훈련 철학이 미세 혈관 구조에서 얼마나 잘 작동하는가?

주요 결과

• 동적 가중치 할당과 무작위 샘플링(DW+RS)의 조합이 모든 혈관 유형에서 가장 높은 F1 스코어를 기록하였으며, 전체 ROI 영역에서 요관 분할 F1 스코어가 30% 향상되었다.
• 동맥 분할은 동맥기 CT 영상 덕분에 혈관의 명확한 가시성을 확보하여 전체 ROI 영역에서 F1 스코어 0.88을 달성하였다.
• DW+RS를 사용할 경우 신장 경계 상자 영역에서 정맥 분할 F1 스코어가 DW만 사용했을 때의 0.59에서 0.67으로 향상되어 미세 혈관 탐지의 효과를 입증하였다.
• 요관 분할에서는 무작위 샘플링이 가장 큰 기여를 하였으며, 신장 경계 상자 영역에서 F1 스코어가 22% 향상되어 오진 감소에 기여함을 시사하였다.
• 512×512×512 CT 볼륨을 3D 패치 예측 결과를 조합하여 1~2분 내로 전체 분할을 완료하였으며, 수시간이 걸리던 수동 분할 작업을 분당 수준으로 단축시켰다.
• 정성적 결과는 Kid-Net이 신장 근처의 미세 혈관을 효과적으로 포착하고, 숨겨진 정맥과 같은 도전적인 케이스에서도 기준 방법보다 높은 시각적 사실성과 구조 정확도를 확보하고 있음을 확인하였다.