[논문 리뷰] Focal FCN: Towards Biomedical Small Object Segmentation with Limited Training Data

Xiao-Yun Zhou, Mali Shen외 3명|arXiv (Cornell University)|2017. 11. 04.

Aortic aneurysm repair treatments참고 문헌 1인용 수 2

한 줄 요약

이 논문은 2D 프luoroscopy 영상에서 다섯 가지 다른 마커 클래스를 분할하기 위해 등가 가중 포칼 U-Net을 사용하여 로봇 내과 수술을 위한 자동 3D 스텐트 graft 형상 생성 방법을 제안한다. 이 방법은 mIoU가 0.6943이며, 중심 위치 오차가 1.6 mm 이하인 마커 비율이 81.01%에 달하여 제한된 훈련 데이터로도 정확한 실시간 3D 재구성 가능하다.

ABSTRACT

Robot-assisted Fenestrated Endovascular Aortic Repair (FEVAR) is currently navigated by 2D fluoroscopy which is insufficiently informative. Previously, a semi-automatic 3D shape instantiation method was developed to instantiate the 3D shape of a main, deployed, and fenestrated stent graft from a single fluoroscopy projection in real-time, which could help 3D FEVAR navigation and robotic path planning. This proposed semi-automatic method was based on the Robust Perspective-5-Point (RP5P) method, graft gap interpolation and semi-automatic multiple-class marker center determination. In this paper, an automatic 3D shape instantiation could be achieved by automatic multiple-class marker segmentation and hence automatic multiple-class marker center determination. Firstly, the markers were designed into five different shapes. Then, Equally-weighted Focal U-Net was proposed to segment the fluoroscopy projections of customized markers into five classes and hence to determine the marker centers. The proposed Equally-weighted Focal U-Net utilized U-Net as the network architecture, equally-weighted loss function for initial marker segmentation, and then equally-weighted focal loss function for improving the initial marker segmentation. This proposed network outperformed traditional Weighted U-Net on the class-imbalance segmentation in this paper with reducing one hyper-parameter - the weight. An overall mean Intersection over Union (mIoU) of 0.6943 was achieved on 78 testing images, where 81.01% markers were segmented with a center position error <1.6mm. Comparable accuracy of 3D shape instantiation was also achieved and stated. The data, trained models and TensorFlow codes are available on-line.

연구 동기 및 목표

• 제한된 훈련 데이터에서 생물의학적 소형 객체 분할을 위한 3D 스텐트 graft 재구성의 과제를 해결한다.
• 수동 손실 가중치 설정이 필요 없도록 하여 마커 분할에서의 클래스 불균형 문제를 해결한다.
• 수동 마커 중심 검출을 딥러닝으로 대체하여 로봇 내과 수술에서 자동 3D 형상 생성을 가능하게 한다.
• 새로운 손실 함수를 사용하여 2D 프luoroscopy 투영도에서 작고 구분 가능한 마커의 분할 정확도를 향상시킨다.
• 임상 통합을 위해 공개된 데이터, 모델, 코드를 포함한 실용적이고 구현 가능한 솔루션을 개발한다.

제안 방법

• 2D 프luoroscopy 영상에서의 시각적 구분성과 분할 정확도 향상을 위해 다섯 가지 고유한 마커 형상을 설계하였다.
• 마커 클래스의 세분화를 위해 U-Net을 기본 네트워크 아키텍처로 채택하였다.
• 초기 마커 분할을 위해 등가 가중 손실 함수를 적용하여 하이퍼파라미터 튜닝을 단순화하였다.
• 부족한 마커 클래스의 분할 성능 향상을 위해 등가 가중 포칼 손실 함수를 통합하였다.
• 분할된 마커 클래스를 이용해 3D 형상 생성을 위한 마커 중심 위치를 자동으로 결정하였다.
• 마커 중심 검출과 graft 갭 보간 및 RP5P 기반 3D 재구성을 결합하여 실시간 3D 형상 추정을 구현하였다.

실험 결과

연구 질문

• RQ1 자동 마커 분할 방법은 3D 스텐트 graft 재구성에서 수동 애너테이션 의존도를 줄일 수 있는가?
• RQ2 등가 가중 포칼 손실 함수는 기존의 가중 손실과 비교해 소형 생물의학적 객체의 클래스 불균형 문제를 어떻게 다루는가?
• RQ3 U-Net 기반 모델은 프luoroscopy 영상에서 제한된 훈련 데이터로도 높은 분할 정확도를 달성할 수 있는가?
• RQ4 마커 형상 설계는 분할 성능과 3D 재구성 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 실시간 3D 형상 생성에서 임상적으로 수용 가능한 정밀도(1.6 mm 이내 오차)를 달성할 수 있는가?

주요 결과

• 등가 가중 포칼 U-Net은 78张의 테스트 이미지에서 평균 교차율(mIoU) 0.6943을 기록하여 강력한 분할 성능를 입증하였다.
• 모든 분할 마커 중 81.01%가 중심 위치 오차가 1.6 mm 이하였으며, 이는 3D 재구성에 있어 높은 기하학적 정확도를 의미한다.
• 제안된 방법은 기존의 가중 U-Net보다 클래스 불균형 분할에서 성능이 뛰어나며, 하이퍼파라미터 수를 하나 줄였다.
• 자동 마커 중심 검출은 이전의 반자동 방법과 유사한 3D 형상 생성 정확도를 달성하였다.
• 제한된 훈련 데이터로도 실시간 환경에서 뛰어난 안정성을 보이며, 임상 적용에 적합하다.
• 데이터셋, 훈련된 모델, 그리고 TensorFlow 코드가 공개되어 재현성과 향후 연구를 지원한다.