[논문 리뷰] Focal FCN: Towards Small Object Segmentation with Limited Training Data.

Xiao-Yun Zhou, Mali Shen외 3명|arXiv (Cornell University)|2017. 11. 04.

Aortic aneurysm repair treatments인용 수 12

한 줄 요약

이 논문은 2D 프luoroscopy 영상에서 다섯 가지 맞춤형 마커 형태를 분할하기 위해 등가 가중치 포칼 U-Net을 사용하여 로봇 보조 경혈관 abdominalaneurysm 수리에서 stent graft의 자동 3D 형상 인스턴티에이션 방법을 제안한다. 이는 평균 mIoU 0.6943과 1.6mm 이내의 중심 위치 오차를 가진 마커 비율이 81.01%에 달하여 실시간 3D 내비게이션 및 로봇 경로 계획을 가능하게 하며, 초모수 조정을 최소화한다.

ABSTRACT

Robot-assisted Fenestrated Endovascular Aortic Repair (FEVAR) is currently navigated by 2D fluoroscopy which is insufficiently informative. Previously, a semi-automatic 3D shape instantiation method was developed to instantiate the 3D shape of a main, deployed, and fenestrated stent graft from a single fluoroscopy projection in real-time, which could help 3D FEVAR navigation and robotic path planning. This proposed semi-automatic method was based on the Robust Perspective-5-Point (RP5P) method, graft gap interpolation and semi-automatic multiple-class marker center determination. In this paper, an automatic 3D shape instantiation could be achieved by automatic multiple-class marker segmentation and hence automatic multiple-class marker center determination. Firstly, the markers were designed into five different shapes. Then, Equally-weighted Focal U-Net was proposed to segment the fluoroscopy projections of customized markers into five classes and hence to determine the marker centers. The proposed Equally-weighted Focal U-Net utilized U-Net as the network architecture, equally-weighted loss function for initial marker segmentation, and then equally-weighted focal loss function for improving the initial marker segmentation. This proposed network outperformed traditional Weighted U-Net on the class-imbalance segmentation in this paper with reducing one hyper-parameter - the weight. An overall mean Intersection over Union (mIoU) of 0.6943 was achieved on 78 testing images, where 81.01% markers were segmented with a center position error <1.6mm. Comparable accuracy of 3D shape instantiation was also achieved and stated. The data, trained models and TensorFlow codes are available on-line.

연구 동기 및 목표

• 로봇 보조 FEVAR에서 2D 프luoroscopy를 이용한 stent graft의 자동 3D 형상 인스턴티에이션을 가능하게 하여 수동 마커 검출의 한계를 극복한다.
• 제한된 학습 데이터에서 마커 분할의 클래스 불균형 문제를 해결하기 위해 분할 성능을 향상시킨다.
• 손으로 가중치를 조정할 필요 없이 등가 가중치 포칼 손실 전략을 도입하여 손실 함수의 초모수 조정을 제거한다.
• 정확한 3D 재구성과 실시간 내비게이션을 위한 고정밀 마커 중심 위치 검출을 달성한다.

제안 방법

• 분류 정확도 향상을 위해 프luoroscopy 영상에서의 구분 가능성을 높이기 위해 다섯 가지 고유한 마커 형태를 설계하였다.
• 등가 가중치 포칼 U-Net을 개발하여 U-Net 아키텍처와 포칼 손실 함수를 융합하여 클래스 불균형 문제를 해결하였다.
• 초기에는 등가 가중치 교차 엔트로피 손실을 사용하고, 이후 등가 가중치 포칼 손실을 적용하여 드문 또는 작은 마커 클래스의 분할을 정밀하게 개선하였다.
• 분할된 마커 클래스에서 자동으로 마커 중심을 검출함으로써 3D 형상 인스턴티에이션 파이프라인의 완전 자동화를 실현하였다.
• 모델은 맞춤형 마커가 포함된 78장의 테스트 프luoroscopy 영상에서 학습 및 평가되었다.
• 학습된 모델, 데이터, 그리고 TensorFlow 코드는 재현 가능성과 향후 연구를 위해 공개되어 있다.

실험 결과

연구 질문

• RQ1 제한된 데이터 환경에서 자동 마커 분할 방법이 경혈관 수술의 3D 형상 인스턴티에이션 정확도를 향상시킬 수 있는가?
• RQ2 등가 가중치 포칼 손실 함수는 전통적인 가중치 손실 함수에 비해 작은 마커 분할의 클래스 불균형 문제를 어떻게 다루는가?
• RQ3 제안된 방법은 높은 분할 성능를 유지하면서도 초모수 조정을 얼마나 줄일 수 있는가?
• RQ4 자동 마커 중심 검출이 임상 수준의 3D 재구성에 대해 1밀리미터 이내의 정밀도를 달성할 수 있는가?

주요 결과

• 제안된 등가 가중치 포칼 U-Net은 78장의 테스트 이미지에서 평균 교차율(Intersection over Union, mIoU) 0.6943을 달성하여 강력한 분할 성능를 입증하였다.
• 분할된 마커의 81.01%가 중심 위치 오차 1.6mm 이내였으며, 이는 높은 정위치 정확도를 의미한다.
• 기존의 가중치 U-Net보다 클래스 불균형 분할 작업에서 성능이 뛰어나 수동 가중치 조정의 필요성을 감소시켰다.
• 기존의 반자동 방법과 비교해 유사한 3D 형상 인스턴티에이션 정확도를 달성하여 임상적 잠재력을 입증하였다.
• 클래스 가중치라는 하나의 초모수를 제거함으로써 모델 학습이 간소화되고 재현 가능성이 향상되었다.
• 데이터, 모델, 코드의 공개로 의료 영상 분할 분야에서의 광범위한 도입과 응용이 가능해졌다.