[논문 리뷰] RVD: A Handheld Device-Based Fundus Video Dataset for Retinal Vessel Segmentation

MD Wahiduzzaman Khan, Hongwei Sheng외 12명|arXiv (Cornell University)|2023. 07. 13.

Retinal Imaging and AnalysisMedicine인용 수 3

한 줄 요약

이 논문은 수동으로 촬영한 스마트폰을 사용해 수집한 첫 번째 영상 기반 망막 혈관 분할 데이터셋인 RVD를 소개한다. 총 415명의 환자(50–75세)로부터 확보한 635개의 영상으로 구성되며, 이는 이질적인 영역 이동을 드러내는 다중 수준의 공간적 주석(이진, 일반, 세분화된 vein-artery 마스크)과 혈관 동맥박동의 시간적 주석을 포함한다. 기존 모델이 도전받는 상황에서 SVP 국소화 작업은 VTN에서 mIoU가 51.25%에 그쳐, 새로운 방법 개발의 필요성을 강조한다.

ABSTRACT

Retinal vessel segmentation is generally grounded in image-based datasets collected with bench-top devices. The static images naturally lose the dynamic characteristics of retina fluctuation, resulting in diminished dataset richness, and the usage of bench-top devices further restricts dataset scalability due to its limited accessibility. Considering these limitations, we introduce the first video-based retinal dataset by employing handheld devices for data acquisition. The dataset comprises 635 smartphone-based fundus videos collected from four different clinics, involving 415 patients from 50 to 75 years old. It delivers comprehensive and precise annotations of retinal structures in both spatial and temporal dimensions, aiming to advance the landscape of vasculature segmentation. Specifically, the dataset provides three levels of spatial annotations: binary vessel masks for overall retinal structure delineation, general vein-artery masks for distinguishing the vein and artery, and fine-grained vein-artery masks for further characterizing the granularities of each artery and vein. In addition, the dataset offers temporal annotations that capture the vessel pulsation characteristics, assisting in detecting ocular diseases that require fine-grained recognition of hemodynamic fluctuation. In application, our dataset exhibits a significant domain shift with respect to data captured by bench-top devices, thus posing great challenges to existing methods. In the experiments, we provide evaluation metrics and benchmark results on our dataset, reflecting both the potential and challenges it offers for vessel segmentation tasks. We hope this challenging dataset would significantly contribute to the development of eye disease diagnosis and early prevention.

연구 동기 및 목표

• 정적이고 벤치탑 이미지 기반 데이터셋이 혈관 박동과 같은 동적인 망막 혈관 특성을 포착하지 못하는 한계를 해결하기 위해.
• 기존 망막 영상 촬영 방식의 확장성과 접근성 문제를 해결하기 위해 이동성이 뛰어난 스마트폰 기반 장치를 활용해 데이터를 확보하기 위해.
• 포괄적인 공간적 및 시간적 주석을 갖춘 대규모, 다양한, 임상적으로 관련성이 높은 영상 데이터셋을 제공하기 위해.
• 망막 혈관 역학 연구를 촉진하고 당뇨성 망막병증 및 녹내장과 같은 안과 질환의 조기 진단을 향상시키기 위해.
• 망막 영상 분석에서 영역 일반화 및 모델의 강인성을 평가하기 위한 기준을 설정하기 위해.

제안 방법

• 네 개의 임상 기관에서 수동으로 촬영한 스마트폰을 활용해 총 635개의 망막 영상을 확보하여 실제 세계의 다양성과 접근성을 확보했다.
• 각 영상에서 가장 선명한 프레임을 선별하여 전체 혈관 구조의 고품질 이진 혈관 마스크를 생성했다.
• 혈관의 굵기를 기반으로 구분하여 일반적인 정맥-Artery 마스크를 생성함으로써 동맥과 정맥을 식별할 수 있도록 했다.
• 각 혈관을 굵기 기반으로 하위 섹션으로 분할하여 세분화된 정맥-동맥 마스크를 생성하였으며, 영상당 8개의 별도 마스크를 생성하였다.
• 망막 중심부 영역에서 혈관 박동 폭이 최대 및 최소인 프레임을 식별하여 시간적 동역학을 주석화했다.
• RVD와 기존 이미지 기반 데이터셋 간의 영역 격차를 정량화하기 위해 교차 데이터셋 테스트를 포함한 종합적인 평가 프로토콜을 수립했다.

실험 결과

연구 질문

• RQ1 최신의 맹막 혈관 분할 모델들이 RVD와 같이 영상 기반, 수동 기기로 촬영된 데이터셋에서 평가되었을 때 일반화 성능는 어떻게 되는가?
• RQ2 기존 모델들이 실제 영상 데이터에서 미세한 맹막 혈관 박동(SVP)을 탐지하고 국소화하는 데 얼마나 실패하는가?
• RQ3 강도 분포 및 구조적 동역학 측면에서 RVD와 기존의 이미지 기반 맹막 데이터셋 간의 주요 영역 격차는 무엇인가?
• RQ4 다중 수준의 공간 주석(이진, 일반, 세분화)이 혈관 분할 모델의 성능 및 임상적 유용성에 어떤 영향을 미치는가?
• RQ5 혈관 박동의 시간적 주석이 혈류역학 분 析이 필요한 안과 질환의 탐지에 기여할 수 있는가?

주요 결과

• 기존 이미지 기반 데이터셋에서 학습한 모델들은 RVD에서 테스트할 경우 성능이 크게 저하되어 상당한 영역 격차가 있음을 시사한다.
• SVP 국소화 작업은 여전히 매우 도전적인 과제이며, VTN은 RVD에서 mIoU가 51.25%에 그쳐 전용 시간 모델링의 필요성을 강조한다.
• Swin-B-22k는 교차 데이터셋 평가에서 이진 분할 작업에서 최고의 mIoU 78.67%를 기록하여 대규모 사전 학습의 유용성을 입증한다.
• 강도 분포의 차이가 영역 격차를 드러내며, 그림 1(c)에서 이를 확인할 수 있다. 이는 모델의 일반화 능력에 영향을 미친다.
• 세분화된 정맥-동맥 마스크는 주석의 복잡성을 크게 증가시키지만 임상적 관련성 또한 높이며, 혈관 병변의 정밀 분석을 가능하게 한다.
• 이 데이터셋의 풍부한 시공간 주석은 동적 맹막 분석 및 안과 질환 탐지 분야에서 새로운 연구 방향을 제시할 수 있다.