[논문 리뷰] DeepVesselNet: Vessel Segmentation, Centerline Prediction, and Bifurcation Detection in 3-D Angiographic Volumes

Giles Tetteh, Velizar Efremov외 7명|arXiv (Cornell University)|2018. 03. 25.

Medical Image Segmentation Techniques인용 수 32

한 줄 요약

DeepVesselNet는 3D 혈관 조영 영상에서 혈관 세분화, 중심선 예측 및 분지점 탐지에 사용되는 딥러닝 프레임워크로, 3D 컨텍스트를 유지하면서 계산 비용을 줄이기 위해 2D 크로스헤어 필터를 사용한다. 기존의 3D 컨볼루션 네트워크와 유사한 정확도를 달성하면서도 23% 빠른 추론 속도와 낮은 메모리 사용량을 보이며, 볼륨 크기의 구조에서 하향샘플링 레이어를 포함하지 않은 아키텍처로 인해 정밀도가 향상된다. 또한 극심한 클래스 불균형 문제를 해결하기 위해 가짜 양성률 보정 기능이 있는 새로운 클래스 밸런싱 손실 함수를 도입했고, 생리학적 제약 조건을 반영한 합성 혈관 수형을 통해 전이 학습을 수행한다.

ABSTRACT

We present DeepVesselNet, an architecture tailored to the challenges faced when extracting vessel networks or trees and corresponding features in 3-D angiographic volumes using deep learning. We discuss the problems of low execution speed and high memory requirements associated with full 3-D convolutional networks, high-class imbalance arising from the low percentage of vessel voxels, and unavailability of accurately annotated training data - and offer solutions as the building blocks of DeepVesselNet. First, we formulate 2-D orthogonal cross-hair filters which make use of 3-D context information at a reduced computational burden. Second, we introduce a class balancing cross-entropy loss function with false positive rate correction to handle the high-class imbalance and high false positive rate problems associated with existing loss functions. Finally, we generate synthetic dataset using a computational angiogenesis model capable of generating vascular trees under physiological constraints on local network structure and topology and use these data for transfer learning. DeepVesselNet is optimized for segmenting and analyzing vessels, and we test the performance on a range of angiographic volumes including clinical MRA data of the human brain, as well as X-ray tomographic microscopy scans of the rat brain. Our experiments show that, by replacing 3-D filters with cross-hair filters in our network, we achieve over 23% improvement in speed, lower memory footprint, lower network complexity which prevents overfitting and comparable accuracy (with a Cox-Wilcoxon paired sample significance test p-value of 0.07 when compared to full 3-D filters). Our class balancing metric is crucial for training the network and transfer learning with synthetic data is an efficient, robust, and very generalizable approach leading to a network that excels in a variety of angiography segmentation tasks.

연구 동기 및 목표

• 3D 혈관 조영 영상 분석에서 3D 컨volution 네트워크의 높은 계산 비용과 메모리 사용량 문제를 해결하기 위해.
• 혈관 백색체소가 총 백색체소의 3% 미만일 정도로 극심한 클래스 불균형 문제를 해결하기 위해 혈관 세분화, 중심선 예측 및 분지점 탐지 작업에서.
• 생리학적 제약 조건을 반영한 합성 혈관 수형을 활용하여 낮은 데이터 환경에서도 견고한 학습을 가능하게 하기 위해.
• 하향샘플링 레이어를 제거함으로써 국소화 정확도가 떨어지는 문제를 방지하고, 볼륨 크기의 구조에서 성능을 향상시키기 위해.
• 향후 혈관 네트워크 분석 분야의 연구를 지원하기 위해 공개된 데이터셋과 코드베이스를 제공하기 위해.

제안 방법

• 3D 컨텍스트를 감안한 2D 수직 크로스헤어 필터 설계: 서로 다른 평면에서 3개의 2D 필터를 조합하여 전체 3D 컨볼루션 대비 계산 부담을 줄인다.
• 극심한 클래스 불균형 상황에서 학습 안정성을 높이고 정밀도-재현율 균형을 개선하기 위해 가짜 양성률 보정 기능이 포함된 클래스 밸런싱 교차엔트로피 손실 함수 개발.
• 혈관 구조 및 토폴로지에 생리학적 제약 조건을 적용한 계산 혈관생성 모델을 사용해 합성 3D 혈관 조영 영상 생성.
• 실제 임상 데이터로의 피니팅 이전에 합성 데이터에서 사전학습을 수행함으로써 다양한 영상 모odalities 간 일반화 능력을 향상시키는 전이 학습 적용.
• 하향샘플링 레이어 없이 설계된 DeepVesselNet 아키텍처로 공간 해상도를 유지하고 중심선 및 분지점과 같은 미세한 특징 탐지 능력을 향상시킴.
• 전체 공간 해상도 유지 및 국소화 작업 성능 향상을 위해 DeepVesselNet-FCN에서 완전 컨볼루션 네트워크(Fully Convolutional Network, FCN) 아키텍처 채택.

실험 결과

연구 질문

• RQ1 2D 크로스헤어 필터는 전체 3D 컨볼루션과 유사한 정확도를 달성하면서도 추론 시간과 메모리 사용량을 크게 줄일 수 있는가?
• RQ2 가짜 양성률 보정 기능이 포함된 제안된 클래스 밸런싱 손실 함수는 극심한 클래스 불균형 상황에서 성능 저하 문제를 얼마나 효과적으로 완화하는가?
• RQ3 합성으로 생성된 혈관 수형에서의 전이 학습은 실제 임상 3D 혈관 조영 영상에서의 모델 일반화 능력과 성능을 어느 정도 향상시키는가?
• RQ4 네트워크 아키텍처에서 하향샘플링 레이어가 없는 것이 중심선 및 분지점과 같은 미세한 혈관 구조의 탐지 능력을 향상시키는가?
• RQ5 단일 통합 네트워크 아키텍처가 동시에 혈관 세분화, 중심선 예측 및 분지점 탐지 작업을 효과적으로 수행할 수 있으며, 순차적 이진 분류 접근법보다 성능이 뛰어나게 되는가?

주요 결과

• 크로스헤어 필터를 적용한 DeepVesselNet는 전체 3D 컨볼루션 네트워크보다 23% 이상 빠른 추론 속도와 현저히 낮은 메모리 사용량을 보이며, 정확도는 유사한 수준을 유지한다 (paired sign test에서 p = 0.07).
• 제안된 클래스 밸런싱 손실 함수는 학습 안정성을 높이고 정밀도-재현율 균형을 개선하여 과다 및 과소 세분화 문제를 감소시킨다.
• 합성으로 생성된 혈관 수형에서의 전이 학습은 실제 임상 데이터에서의 모델 성능을 크게 향상시키며, 특히 데이터가 적은 환경에서 효과가 뚜렷하다.
• 하향샘플링 레이어를 제거한 DeepVesselNet-FCN는 하향샘플링 또는 풀링 레이어를 포함한 아키텍처보다 중심선 예측 (p < 0.001) 및 분지점 탐지 작업에서 유의미하게 높은 Dice 스코어를 기록한다.
• 네트워크는 더 작은 혈관에서 중심선 및 분지점을 더 많이 탐지하는 경향을 보이며, 이는 데이터 불균형 효과로 보이며, 학습 시 더 큰 혈관 특징에 대해 재가중 또는 오버샘플링을 적용함으로써 보정 가능하다.
• 시각화 결과는 DeepVesselNet-FCN가 합성 및 임상 MRA 데이터 모두에서 중심선 및 분지점을 정확하게 탐지함을 확인했지만, 일부 작은 혈관에서는 일부 점이 누락되는 경우가 있어 후처리 또는 미세조정의 여지가 있음을 시사한다.