[논문 리뷰] Graph Attention Network based Pruning for Reconstructing 3D Liver Vessel Morphology from Contrasted CT Images

Donghao Zhang, Siqi Liu외 6명|arXiv (Cornell University)|2020. 03. 18.

Medical Image Segmentation Techniques참고 문헌 27인용 수 8

한 줄 요약

이 논문은 다단계 대조 CT 영상에서 3D 간 혈관 형태 복원을 향상시키기 위해 그래프 어텐션 네트워크(GAT) 기반의 프루닝 프레임워크를 제안한다. 먼저 3D 완전 컨volution 네트워크를 사용해 혈관 중심선 히트맵을 생성하고, 이미지 처리 기반의 추적 알고리즘을 적용해 초기 과다 복원된 혈관 그래프를 생성한 후, CNN 특징 임bedding을 사용해 잘못된 분지(가짜 양성)를 프루닝하는 GAT를 통해 보완한다. 이로 인해 기준선 대비 F1 스코어가 6.4% 상승하고, 최신 기술 대비 뛰어난 성능을 달성한다.

ABSTRACT

With the injection of contrast material into blood vessels, multi-phase contrasted CT images can enhance the visibility of vessel networks in the human body. Reconstructing the 3D geometric morphology of liver vessels from the contrasted CT images can enable multiple liver preoperative surgical planning applications. Automatic reconstruction of liver vessel morphology remains a challenging problem due to the morphological complexity of liver vessels and the inconsistent vessel intensities among different multi-phase contrasted CT images. On the other side, high integrity is required for the 3D reconstruction to avoid decision making biases. In this paper, we propose a framework for liver vessel morphology reconstruction using both a fully convolutional neural network and a graph attention network. A fully convolutional neural network is first trained to produce the liver vessel centerline heatmap. An over-reconstructed liver vessel graph model is then traced based on the heatmap using an image processing based algorithm. We use a graph attention network to prune the false-positive branches by predicting the presence probability of each segmented branch in the initial reconstruction using the aggregated CNN features. We evaluated the proposed framework on an in-house dataset consisting of 418 multi-phase abdomen CT images with contrast. The proposed graph network pruning improves the overall reconstruction F1 score by 6.4% over the baseline. It also outperformed the other state-of-the-art curvilinear structure reconstruction algorithms.

연구 동기 및 목표

• 다단계 대조 CT 영상에서 정확한 3D 간 혈관 형태 복원에 도전하는 것. 이는 수술 전 계획 수립에 매우 중요하다.
• 기존 방법의 한계를 극복하는 것. 즉, 높은 가짜 양성 분지 비율과 형태 변동성 및 일관되지 않은 혈관 강도로 인한 낮은 일반화 성능이다.
• 혈관 그래프의 가짜 양성 분지로 인한 의사결정 편향을 줄여 복원의 완전성과 일관성을 향상시키는 것.
• 딥 러닝 기반 혈관 세그멘테이션과 그래프 신경망을 통합해 상호 연결성의 위상적 특성을 모델링하고 프루닝 정확도를 향상시키는 것.
• 관상동맥이나 기도 혈관 추적과 같은 다른 3D 곡선형 구조 복원 작업에 적용 가능한 일반화된 프레임워크를 개발하는 것.

제안 방법

• 다단계 대조 CT 영상에서 수동으로 그린 진단 중심선을 지도로 사용해 3D 완전 컨volution 신경망을 훈련시켜 혈관 중심선 히트맵을 생성한다.
• 초기 혈관 그래프는 히트맵에 Rivulet2 알고리즘을 적용해 생성되며, 이는 높은 민감도를 가지나 낮은 특이도를 가지므로 과다 복원이 발생한다.
• 초기 그래프는 각 노드가 부분 분지에 대응하는 双중 그래프 표현으로 변환되며, 노드 특징은 해당 부분 분지에 대응하는 CNN 특징의 집합에서 유도된다.
• 그래프 어텐션 네트워크(GAT)를 사용해 각 부분 분지의 존재 확률을 예측하며, 어텐션 메커니즘을 통해 관련된 구조적 및 특징 신호에 집중할 수 있도록 한다.
• GAT는 각 노드(부분 분지)에 대해 신뢰도 점수를 출력하며, 이는 낮은 신뢰도를 가진 가짜 양성 분지를 필터링하고 진짜 혈관 구조는 유지하는 데 사용된다.
• 최종 프루닝된 그래프는 F1 스코어, 대칭 평균 거리(SD), 부분 구조 딱시(SSD)와 같은 표준 지표를 사용해 평가되며, 기준선 및 최신 기술 방법과 비교된다.

실험 결과

연구 질문

• RQ1 그래프 어텐션 네트워크는 재현율을 손상시키지 않고 3D 간 혈관 복원에서 가짜 양성 분지를 효과적으로 줄일 수 있는가?
• RQ2 GNN 보정 없이 그래프 추적을 수행하는 기준선 대비 GAT 기반 프루닝은 F1 스코어를 얼마나 향상시키는가?
• RQ3 CNN 기반 특징 임bedding과 GAT의 통합은 재구성된 혈관 나무의 위상 일관성을 얼마나 향상시키는가?
• RQ4 제안된 프레임워크는 관상동맥이나 기도 혈관 추적과 같은 다른 곡선형 구조 복원 작업에 일반화 가능한가?
• RQ5 다양한 부분 분지 샘플링 길이가 최종 복원 품질과 내구성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 기준선 Rivulet2 방법(0.8124 ± 0.0514) 대비 F1 스코어가 6.4% 상승한 0.8762 ± 0.0549를 기록하며, GAT 프루닝으로 인한 성능 향상이 뚜렷하게 입증되었다.
• 비교된 모든 최신 기술 방법 중에서 가장 높은 F1 스코어를 기록했으며, MOST(0.6984), NeuTube(0.4158), APP2(0.2921), Smart Tracing(0.7521), Snake(0.7738), TreMap(0.3422)를 모두 능가했다.
• 높은 재현율(0.8354 ± 0.0849)을 유지하면서 정밀도가 크게 향상(0.9280 ± 0.0497)되어 효과적인 가짜 양성 분지 감소를 확인했다.
• 혈관 위치의 공간 정확도가 뛰어나 대칭 평균 거리(SD: 2.46 ± 0.668 mm)와 pSSD(0.136 ± 0.0433)가 가장 낮아, 뛰어난 공간 정확도를 확보했다.
• 다양한 부분 분지 샘플링 길이에 대해 뛰어난 내구성을 보였으며, 최적의 성능은 5mm 샘플링 길이에서 기록되어 F1 스코어 0.876 ± 0.055를 달성했다.
• 제거 분석 결과, GAT 프루닝이 재구성 품질을 크게 향상시킴을 확인했으며, GNN 보정 없이 기준선 대비 F1 스코어가 6.38% 향상된 것으로 나타났다.