[논문 리뷰] IVUS-Net: An Intravascular Ultrasound Segmentation Network

Yang Ji, Tong Lin외 2명|arXiv (Cornell University)|2018. 06. 10.

Coronary Interventions and Diagnostics참고 문헌 22인용 수 7

한 줄 요약

IVUS-Net는 20 MHz IVUS B-mode 영상에서 루멘 및 메디아-아드벤토리아 경계를 자동으로 세그먼테이션하는 완전 컨volution 신경망(FCN)이며, 후처리 윤곽 추출 단계를 포함한다. 최신 기술 대비 루멘의 Hausdorff 거리에서 8% 향상되고 메디아의 경우 20% 향상되어 최고 성능을 달성하였으며, 현대 GPU에서 각 프레임을 0.15초 내로 세그먼테이션한다.

ABSTRACT

IntraVascular UltraSound (IVUS) is one of the most effective imaging modalities that provides assistance to experts in order to diagnose and treat cardiovascular diseases. We address a central problem in IVUS image analysis with Fully Convolutional Network (FCN): automatically delineate the lumen and media-adventitia borders in IVUS images, which is crucial to shorten the diagnosis process or benefits a faster and more accurate 3D reconstruction of the artery. Particularly, we propose an FCN architecture, called IVUS-Net, followed by a post-processing contour extraction step, in order to automatically segments the interior (lumen) and exterior (media-adventitia) regions of the human arteries. We evaluated our IVUS-Net on the test set of a standard publicly available dataset containing 326 IVUS B-mode images with two measurements, namely Jaccard Measure (JM) and Hausdorff Distances (HD). The evaluation result shows that IVUS-Net outperforms the state-of-the-art lumen and media segmentation methods by 4% to 20% in terms of HD distance. IVUS-Net performs well on images in the test set that contain a significant amount of major artifacts such as bifurcations, shadows, and side branches that are not common in the training set. Furthermore, using a modern GPU, IVUS-Net segments each IVUS frame only in 0.15 seconds. The proposed work, to the best of our knowledge, is the first deep learning based method for segmentation of both the lumen and the media vessel walls in 20 MHz IVUS B-mode images that achieves the best results without any manual intervention. Code is available at https://github.com/Kulbear/ivus-segmentation-icsm2018

연구 동기 및 목표

• IVUS 영상에서 루멘 및 메디아-아드벤토리아 경계를 자동으로 세그먼테이션하기 위한 엔드 투 엔드 딥 러닝 파이프라인 개발
• 분지, 그림자, 측지 branches 등의 일반적인 아티팩트가 존재하는 상황에서 혈관 벽을 세그먼테이션하는 과제 해결
• 사전 훈련된 가중치나 수동 간섭 없이 고정밀도 세그먼테이션 달성
• 빠른 추론 속도(프레임당 0.15초)를 확보하여 실시간 적용 가능하게 하기
• 伝통적인 컴퓨터 비전 방법을 뛰어넘는 IVUS 세그먼테이션을 위한 딥 러닝 기반 기준 설정

제안 방법

• 사전 훈련된 ImageNet 가중치 없이 훈련된, 맞춤형 FCN 아키텍처인 IVUS-Net 제안
• 엔코더와 디코더 블록 간의 스킵 연결을 통해 공간적 세부 정보 유지 및 경계 국소화 향상
• 특징 표현과 세그먼테이션 정확도 향상을 위해 리파이닝 브랜치 도입
• 일반화 및 강건성 향상을 위해 데이터 증강 기법(예: 회전, 스케일링, 뒤집기) 적용
• 예측된 픽셀 수준 마스크를 정밀한 혈관 벽 윤곽으로 개선하기 위해 후처리 윤곽 추출 단계 적용
• 다양한 아티팩트를 포함한 326개의 심수축기 영상으로 구성된 공개 IVUS 벤치마크 데이터셋을 사용해 훈련 및 평가

실험 결과

연구 질문

• RQ1 사전 훈련된 가중치 없이 훈련된 완전 컨volution 네트워크가 기존 최신 기술 대비 IVUS 영상에서 루멘 및 메디아의 세그먼테이션 성능을 향상시킬 수 있는가?
• RQ2 제안된 IVUS-Net 아키텍처가 훈련 세트에 잘 반영되지 않은 도전적인 IVUS 아티팩트(예: 분지, 그림자, 측지 지름)를 다룰 때 얼마나 효과적인가?
• RQ3 데이터 증강 기법이 세그먼테이션 모델의 일반화 및 강건성에 얼마나 기여하는가?
• RQ4 리파이닝 브랜치의 포함 여부가 Hausdorff 거리 측면에서 특히 세그먼테이션 정확도 향상에 기여하는가?
• RQ5 제안된 파이프라인이 임상 적용에 적합한 실시간 추론 속도를 확보할 수 있는가?

주요 결과

• IVUS-Net은 기존 최신 기술 방법(Faraji et al. [8])보다 루멘 세그먼테이션에서 Jaccard 측정치 4% 향상되고 메디아 세그먼테이션에서 Hausdorff 거리 20% 향상됨.
• 루멘의 경우 Hausdorff 거리 8% 향상되고 메디아의 경우 20% 향상되어 경계 국소화 정확도 향상됨.
• 테스트 세트에서 IVUS-Net은 루멘의 Jaccard 측정치 0.82, 메디아의 경우 0.78를 기록하였으며, Hausdorff 거리는 루멘 0.50 mm, 메디아 0.82 mm를 기록함.
• 모델은 예측되지 않은 아티팩트에 대해 잘 일반화됨: 분지(44개 프레임), 측지 혈관(93개 프레임), 그림자(96개 프레임)가 포함된 테스트 프레임에서도 뛰어난 성능 기록함.
• 제거 실험을 통해 데이터 증강 및 리파이닝 브랜치 모두 성능 향상에 기여함이 검증됨.
• 파이프라인은 현대 GPU에서 각 IVUS 프레임을 단 0.15초 내로 세그먼테이션하여 임상 적용에 적합한 실시간 사용 가능함.