[논문 리뷰] VascX Models: Model Ensembles for Retinal Vascular Analysis from Color Fundus Images

Jose Vargas Quiros, Bart Liefers외 5명|arXiv (Cornell University)|2024. 09. 24.

Retinal Imaging and AnalysisMedicine인용 수 3

한 줄 요약

VascX 모델는 다양한 공공 및 임상 데이터셋—특히 30년 이상에 걸친 다수 제조업체의 색소망막도자료를 포함한 로테르담 연구에서 확보한 데이터—를 활용하여 색소망막도(CFI)에서 자동으로 망막 혈관을 분석하기 위한 강력하고 다중 모델 앙상블 프레임워크를 제안한다. 이 모델들은 혈관, 동맥-靜맥, 시신경두 및 부위 분할에서 최신 기술 수준의 성능을 달성한다. 특히 대규모 코hort 연구에서 흔한 중간 품질의 영상에서 기존 시스템보다 뛰어난 성능을 보이며, 혈관 분할에서 인간 평가자보다 높은 정밀도를 제공한다.

ABSTRACT

We introduce VascX models, a comprehensive set of model ensembles for analyzing retinal vasculature from color fundus images (CFIs). Annotated CFIs were aggregated from public datasets . Additional CFIs, mainly from the population-based Rotterdam Study were annotated by graders for arteries and veins at pixel level, resulting in a dataset diverse in patient demographics and imaging conditions. VascX models demonstrated superior segmentation performance across datasets, image quality levels, and anatomic regions when compared to existing, publicly available models, likely due to the increased size and variety of our training set. Important improvements were observed in artery-vein and disc segmentation performance, particularly in segmentations of these structures on CFIs of intermediate quality, common in large cohorts and clinical datasets. Importantly, these improvements translated into significantly more accurate vascular features when we compared features extracted from VascX segmentation masks with features extracted from segmentation masks generated by previous models. With VascX models we provide a robust, ready-to-use set of model ensembles and inference code aimed at simplifying the implementation and enhancing the quality of automated retinal vasculature analyses. The precise vessel parameters generated by the model can serve as starting points for the identification of disease patterns in and outside of the eye.

연구 동기 및 목표

• 다양한 영상 장치와 영상 품질 수준에서 일관된 성능을 보이는 강력하고 일반화 능력이 뛰어난 망막 혈관 분석 모델 앙상블을 개발하는 것.
• 기존의 소규모이고 동질적인 데이터셋으로 훈련된 모델의 한계를 보완하기 위해, 다수 제조업체의 다년간 CFI 촬영 데이터를 포함한 인구 기반 로테르담 연구에서 확보한 대규모이고 다양한 데이터셋을 통합하는 것.
• 특히 중간 품질의 영상에서 동맥-정맥 및 시신경두 구조의 분할 정확도를 향상시키기 위해, 대규모 코hort 및 임상 데이터셋에서 흔한 중간 품질 영상에서의 성능 향상을 도모하는 것.
• 자동화된 시스템인 Automorph 및 LWNet과 비교해 분할 및 파생 혈관 특징 추출에서 뛰어난 성능을 내는 것.
• 배포가 용이하고 재현성이 높아지도록, 즉시 사용 가능한 오픈소스 추론 파이프라인을 제공하는 것.

제안 방법

• 모델들은 공공 데이터셋과 로테르담 연구에서 새로 주석 처리한 CFI를 조합하여 훈련시켰으며, 동맥, 정맥, 시신경두, 부위에 대한 픽셀 수준의 주석을 포함하였다.
• 다양한 영상 조건에서의 강건성과 일반화 능력을 향상시키기 위해, 5겹 교차 훈련을 활용한 다중 모델 앙상블 접근법을 사용하였다.
• U-Net 변종과 같은 딥러닝 아키텍처를 사용하였으며, 저품질 및 중간 품질 영상에서의 성능 향상을 위해 강력한 데이터 증강 전략을 통합하였다.
• 외부 데이터셋 간 일관성을 확보하기 위해, 대비 정규화 및 이미지 크기 조정과 같은 표준화된 전처리 단계를 포함한 추론 파이프라인이 구현되었다.
• 혈관, 동맥-정맥, 시신경두, 부위 분할을 위한 별도의 모델을 통합하여 모듈식이고 확장 가능한 분석을 가능하게 하였다.
• 모델 출력을 인간 평가자 주석과 비교하기 위해, 딱도 지수, 평균 절대 오차, 파생 혈관 특징에 대한 피어슨 상관계수와 같은 지표를 사용한 종합적인 평가 프레임워크를 적용하였다.

실험 결과

연구 질문

• RQ1 다양한 장치와 30년 이상의 영상 데이터를 포함한 실제 CFI 데이터에서 훈련된 모델 앙상블이 기존 시스템보다 망막 혈관 분할에서 뛰어난 성능을 보일 수 있는가?
• RQ2 특히 대규모 코hort 연구에서 흔한 중간 품질 영상에서 모델 성능은 어떻게 변할 수 있는가?
• RQ3 향상된 분할 결과가 혈관 생체지표인 지름, 굽이침, 분지 수 등에서 얼마나 정확한 추출로 이어지는가?
• RQ4 특히 복잡하거나 저대비 영상에서 VascX 모델이 인간 평가자보다 혈관 분할 정밀도에서 뛰어나게 되는가?
• RQ5 VascX 파이프라인이 동맥-정맥 분할에서 혈관 수목의 연결성과 구조적 통합성을 얼마나 효과적으로 유지하는가?

주요 결과

• VascX 모델는 모든 지표에서 뛰어난 분할 성능를 보였으며, 로테르담 연구 데이터셋에서 혈관 분할의 딱도 지수는 0.834, 동맥-정맥 분할은 0.772, 시신경두 분할은 0.733를 기록하였다.
• 중간 품질 영상에서의 동맥-정맥 분할 성능 향상이 가장 두드러졌으며, 이는 이전 시스템보다 유의미하게 뛰어난 성능을 보였다.
• 혈관 분할 정밀도에서 인간 평가자보다 VascX 모델이 뛰어나, 혈관 지름에 대한 평균 절대 오차가 0.005 mm로 평가자 주석과 비교해 낮았다.
• 정맥의 분지 수에 대해 실제값과 높은 상관관계(r = 0.791)를 보이며, 복잡한 혈관 특징을 잘 포착하고 있음을 시사했다.
• VascX에서 유도된 혈관 특징는 Automorph 및 LWNet보다 평균 절대 오차(0.005–0.006 mm)가 낮고, 평가자 기반 특징과 상관계수(r = 0.757–0.791)가 더 높았다.
• GitHub를 통해 공개된 VascX 추론 파이프라인은 외부 데이터셋에 쉽게 배포 가능하며, 일관된 전처리 및 모델 추론을 보장하여 재현성과 보급성을 향상시켰다.