[논문 리뷰] Fully Automated Tree Topology Estimation and Artery-Vein Classification

Aashis Khanal, Saeid Motevali외 1명|arXiv (Cornell University)|2022. 02. 04.

Retinal Imaging and Analysis인용 수 4

한 줄 요약

이 논문은 단일 색채도 망막 이미지에서 전반적인 자동화된 그래프 기반 방법을 제안하며, 망막 혈관 구조 추정 및 동맥-靜맥 분류를 수행한다. 딥러닝 기반 혈관 및 AV 확률 지ap을 새로운 비용 함수와 고수준 그래프 연산을 결합하여 구조 오류를 교정함으로써 수동 간섭 없이 최신 기술 수준의 AV 분류 정확도를 달성한다.

ABSTRACT

We present a fully automatic, graph-based technique for extracting the retinal vascular topology -- that is, how different vessels are connected to each other -- given a single color fundus image. Determining this connectivity is very challenging because vessels cross each other in a 2D image, obscuring their true paths. We quantitatively validated the usefulness of our extraction method by using it to achieve comparable state-of-the-art results in retinal artery-vein classification. Our proposed approach works as follows: We first segment the retinal vessels using our previously developed state-of-the-art segmentation method. Then, we estimate an initial graph from the extracted vessels and assign the most likely blood flow to each edge. We then use a handful of high-level operations (HLOs) to fix errors in the graph. These HLOs include detaching neighboring nodes, shifting the endpoints of an edge, and reversing the estimated blood flow direction for a branch. We use a novel cost function to find the optimal set of HLO operations for a given graph. Finally, we show that our extracted vascular structure is correct by propagating artery/vein labels along the branches. As our experiments show, our topology-based artery-vein labeling achieved state-of-the-art results on three datasets: DRIVE, AV-WIDE, and INSPIRE. We also performed several ablation studies to separately verify the importance of the segmentation and AV labeling steps of our proposed method. These ablation studies further confirmed that our graph extraction pipeline correctly models the underlying vascular anatomy.

연구 동기 및 목표

• 단일 망막 이미지에서 망막 혈관 구조 추정을 위한 완전 자동화 시스템을 개발하여, 2차원 투영도에서 혈관 교차로 인한 과제를 해결한다.
• 딥러닝 모델에만 의존하는 것과는 달리, 구조적 특성을 활용하여 동맥-정맥 분류 정확도를 향상시킨다.
• 다양한 망막 질환에 적용 가능한 일반적인, 해석 가능한 혈관 기능 추출 파이프라인을 구축한다.
• 최소한의 하이퍼파rameter 조정으로 다양한 데이터셋에 걸쳐 메서드의 강건성과 일반화 능력을 검증한다.
• 혈관 분할, 구조 추론, 레이블 전파를 하나의 프레임워크에 통합하여 종단 간 전면적이고 해석 가능한 진단을 가능하게 한다.

제안 방법

• 이 방법은 먼저 두 개의 U-Net CNN을 사용하여 망막 이미지($I$)에서 혈관 확률 지도($\hat{I}_p$)와 AV 유사도 지도($\hat{I}_{av}$)를 생성한다.
• 다중 수준의 스켈레톤화를 적용하여 혈관의 초기 유니온 그래프를 추출한 후, 잡음 성분을 제거하기 위해 그래프 수축을 수행한다.
• 다익스트라의 최단경로 알고리즘을 사용해 무방향 구조 그래프를 추출하고, 혈관 기하학적 특성과 색상 정보를 기반으로 흐름 할당 알고리즘을 통해 방향성을 부여한다.
• 새로운 비용 함수가 고수준 연산(HLOs)의 시퀀스를 이끌며, 이는 노드 분리, 간선 끝점 이동, 흐름 반전 등의 조작을 포함하여 구조 오류를 최소화한다.
• AV 사전 지식($\hat{I}_{av}$)이 방향성 그래프($g_d$)에 매핑되고, 레이블 전파 단계를 통해 추정된 분지에 따라 동맥/정맥 레이블이 할당된다.
• 비용 함수는 혈관 유사도($w_v$), Lab 색상 공간 내 색상 유사도($w_c$), 너비 기반 가중치($w_w$), 그리고 겹침을 방지하기 위한 반발 요소($\Gamma$) 등 여러 요소를 포함한다.

실험 결과

연구 질문

• RQ1 혈관 교차로 인해 어려움을 겪는 단일 2차원 망막 이미지에서, 완전 자동화된 그래프 기반 방법이 정확하게 망막 혈관 구조를 재구성할 수 있는가?
• RQ2 딥러닝 모델이 픽셀 수준의 특성에만 의존하는 것과 비교해, 구조적 특성을 통합할 경우 동맥-정맥 분류 성능 향상 정도는 어느 정도인가?
• RQ3 이러한 구조 추정 파이프라인은 다양한 이미지 품질과 혈관 특성을 가진 다양한 데이터셋에 대해 얼마나 강건한가?
• RQ4 혈관 분할, 구조 교정, 레이블 전파 각각의 구성 요소가 최종 AV 분류 정확도에 기여하는 정도는 어떠한가?
• RQ5 추출된 그래프 표현이 혈관 끊어짐 또는 가짜 ONH와 같은 임상적으로 유의미한 특징을 탐지하는 데 기여할 수 있는가?

주요 결과

• 제안된 방법은 DRIVE, AV-WIDE, INSPIRE 세 가지 기준 데이터셋에서 최신 기술 수준의 동맥-정맥 분류 정확도를 달성했다.
• 최소한의 하이퍼파rameter 조정으로 INSPIRE 데이터셋에 잘 일반화되어 있어 강건성과 이식 가능성의 높음을 시사한다.
• 제거 실험을 통해 개선된 혈관 분할 사전 지식이 직접적으로 구조 정확도 향상에 기여함을 확인하여, 모델이 혈관 해부학적 특성에 잘 부합함을 검증했다.
• 낮은 혈관 재현율을 보이는 반면, 반자동 기법보다도 우수한 성능을 보여, 구조 인식 처리가 분할 오류를 상쇄함을 시사한다.
• 그래프 기반 표현은 잠재적인 혈관 손상(예: 끊어짐 또는 차단)을 성공적으로 식별했으며, 이는 진단 지표로 활용될 수 있다.
• 추정된 구조를 따라 레이블 전파를 수행한 결과 일관되고 정확한 AV 분류 결과를 도출하여, 추출된 그래프 구조의 유용성을 입증했다.