[논문 리뷰] CFUN: Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation

Zhanwei Xu, Ziyi Wu외 1명|arXiv (Cornell University)|2018. 12. 12.

Advanced Neural Network Applications참고 문헌 16인용 수 46

한 줄 요약

CFUN은 심부위를 위치화하기 위해 수정된 3D Faster R-CNN과 3D U-net으로 분할을 수행하고, 3D Edge-loss 헤드를 보강하여 빠르고 경쟁력 있는 전체 심장 분할을 제공합니다.

ABSTRACT

In this paper, we propose a novel heart segmentation pipeline Combining Faster R-CNN and U-net Network (CFUN). Due to Faster R-CNN's precise localization ability and U-net's powerful segmentation ability, CFUN needs only one-step detection and segmentation inference to get the whole heart segmentation result, obtaining good results with significantly reduced computational cost. Besides, CFUN adopts a new loss function based on edge information named 3D Edge-loss as an auxiliary loss to accelerate the convergence of training and improve the segmentation results. Extensive experiments on the public dataset show that CFUN exhibits competitive segmentation performance in a sharply reduced inference time. Our source code and the model are publicly available at https://github.com/Wuziyi616/CFUN.

연구 동기 및 목표

• 심부위에 초점을 맞추어 패치 기반 타일링 없이 효율적인 전체 심장 분할을 추구한다.
• 3D U-net을 수정된 Faster R-CNN에 삽입하여 한 단계로 모든 심장 구조를 분할하는 검출-분할 파이프라인을 개발한다.
• 학습 가속 및 분할 경계 정확도 향상을 위해 3D Edge-loss 헤드를 도입한다.
• MM-WHS2017에서 CFUN을 평가하고 Dice 점수와 추론 시간 측면에서 최신 방법과 비교한다.

제안 방법

• CT 부피 차원을 처리하기 위해 P3D 병목으로 Faster R-CNN을 3D로 확장한다.
• 심장 위치 지정용 RPN에서 다중 스케일 특징 융합을 위해 ResNet을 P3D로 교체하고 FPN을 추가한다.
• RoI 정렬된 심장 영역을 입력으로 받는 수정된 3D U-net을 분할 네트워크로 내장한다.
• 디코더에 깊은 감독을 사용하고 추가적인 디컨볼루션 레이어로 출력 크기를 두 배로 늘려 더 정밀한 분할을 수행한다.
• 고정된 3D Sobel 커널을 사용하여 예측과 실제 간의 경계 일관성을 보장하는 3D Edge-loss 헤드를 도입한다.
• 가중치 2:2:2:1로 L = w1 L_box + w2 L_cls + w3 L_seg + w4 L_edge의 합성 손실로 학습한다.

실험 결과

연구 질문

• RQ1 검출 기반 파이프라인이 전체 심장 분할에서 패치 기반 타일링 방법보다 우수한 성능을 낼 수 있는가?
• RQ2 수정된 Faster R-CNN 내부에 3D U-net을 삽입하면 분할 정확도와 추론 시간을 개선하는가?
• RQ3 3D Edge-loss 헤드가 경계 정확도와 더 빠른 수렴에 기여하는가?
• RQ4 Dice 점수와 속도 측면에서 CFUN이 MM-WHS2017의 기존 3D U-net 및 다단계 CNN 접근법과 어떻게 비교되는가?

주요 결과

• CFUN은 MM-WHS2017 테스트 데이터에서 평균 Dice 점수 0.859를 달성하여 대회 우승자와 경쟁한다.
• CFUN은 10초 이내에 심장을 분할하며(데이터 로딩 및 후처리 포함 시 15초 이내).
• 제약 없이: 제거실험은 바운딩 박스 정제 헤드가 탐지 정확도를 향상시키고 Edge-loss 헤드가 경계 품질을 향상시킴을 보여준다.
• 3D U-net 및 다단계 U-net과 비교하면 CFUN은 더 빠른 추론 속도와 동등하거나 더 나은 성능을 제공한다.
• CFUN의 단일 바운딩 박스 접근 방식은 타일링 및 패치 단위 처리를 피하고 전역 심장 정보를 활용한 규칙화 분할을 실현한다.