[논문 리뷰] AV-Net: Deep learning for fully automated artery-vein classification in optical coherence tomography angiography

Minhaj Nur Alam, David Le외 3명|arXiv (Cornell University)|2020. 06. 05.

Retinal Imaging and Analysis참고 문헌 27인용 수 5

한 줄 요약

AV-Net는 전체적으로 컨volutional인 U-형태의 딥러닝 모델로, 옵티컬 코herence 톰로그래피 혈관조직(ОСТА)에서 동맥-靜맥 분류를 완전 자동화하기 위해 가로로 촬영한 OCT 강도 프로파일과 OCTA 혈류 및 혈관 기하학적 특징을 융합한다. 제한된 ОСТА 데이터셋 크기 문제를 해결하기 위해 전이학습을 적용하여 평균 정확도 86.75%를 달성하며, 임상 적용 가능한 차별성 혈관 분석을 가능하게 한다.

ABSTRACT

This study is to demonstrate deep learning for automated artery-vein (AV) classification in optical coherence tomography angiography (OCTA). The AV-Net, a fully convolutional network (FCN) based on modified U-shaped CNN architecture, incorporates enface OCT and OCTA to differentiate arteries and veins. For the multi-modal training process, the enface OCT works as a near infrared fundus image to provide vessel intensity profiles, and the OCTA contains blood flow strength and vessel geometry features. A transfer learning process is also integrated to compensate for the limitation of available dataset size of OCTA, which is a relatively new imaging modality. By providing an average accuracy of 86.75%, the AV-Net promises a fully automated platform to foster clinical deployment of differential AV analysis in OCTA.

연구 동기 및 목표

• ОСТА에서 동맥-정맥 분류를 위한 완전 자동화된 딥러닝 프레임워크 개발을 목적으로 하며, 수동 분할에 대한 의존도를 줄이기 위함이다.
• 상대적으로 새로운 ОСТА 영상 모odal에서 데이터가 제한된 문제를 해결하기 위해 전이학습을 통합함으로써 도전 과제를 해결하고자 한다.
• 가로로 촬영한 OCT와 ОСТА 모달을 융합하여 혈관 특성 분석을 향상시켜 분류 성능을 향상시키고자 한다.
• 망막 영상에서의 차별성 혈관 분석을 위한 임상 적용 가능한 플랫폼을 구축하고자 한다.

제안 방법

• AV-Net는 다중 모달 ОСТА 및 가로로 촬영한 OCT 입력을 처리하기 위해 수정된 U-형태의 전체 컨volutional 네트워크(FCN) 아키텍처를 사용한다.
• 가로로 촬영한 OCT는 근적외선 망막 영상과 유사한 혈관 강도 프로파일을 제공하여 혈관 경계를 보다 명확히 한다.
• ОСТА 데이터는 동맥과 정맥을 구분하는 데 핵심적인 혈류 강도 및 기하학적 특징을 기여한다.
• 상대적으로 새로운 ОСТА 영상 모달에서 데이터 부족 문제를 완화하기 위해 전이학습 전략을 적용한다.
• 모델은 다중 모달 입력에서 끝에서 끝까지 훈련되어 혈관 유형 분류를 공동 최적화한다.
• 공간적 및 구조적 세부 정보를 유지하기 위해 인코더-디코더 수준에서 다중 수준의 특징 융합이 이루어진다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 수동 간섭 없이 ОСТА에서 동맥과 정맥을 정확하게 분류할 수 있는가?
• RQ2 가로로 촬영한 OCT와 ОСТА 데이터를 융합하면 단일 모달 기반 접근 방식에 비해 분류 성능이 어떻게 향상되는가?
• RQ3 전이학습이 제한된 레이블이 부여된 ОСТА 데이터셋으로 인한 성능 저하를 얼마나 효과적으로 보완할 수 있는가?
• RQ4 완전히 컨volutional 네트워크가 다양한 망막 혈관 패턴에서 자동 동맥-정맥 분류에 높은 정확도를 달성할 수 있는가?
• RQ5 제안된 AV-Net는 망막 진단에서 임상 적용을 위한 충분한 강건성과 일반화 능력을 갖추고 있는가?

주요 결과

• AV-Net는 테스트 데이터셋 전반에서 평균 분류 정확도 86.75%를 달성하여 자동 동맥-정맥 분류에서 뛰어난 성능을 입증하였다.
• 가로로 촬영한 OCT와 ОСТА 모달의 융합은 단독으로 ОСТА를 사용하는 것보다 특징 표현 능력을 크게 향상시켰다.
• 전이학습은 ОСТА 모달에서 훈련 데이터가 제한된 상황에서 성능 저하를 효과적으로 완화하였다.
• U-형태의 FCN 아키텍처는 혈관 구조의 정밀한 국소화 및 분할을 가능하게 하여 정확한 분류를 지원한다.
• 모델은 다양한 망막 영역에서 일관된 성능을 보이며 해부학적 다양성에 대한 강건성을 입증하였다.
• 이 프레임워크는 완전 자동화되어 있어, ОСТА에서의 차별성 혈관 분석을 위한 확장 가능하고 재현 가능한 임상 적용이 가능하다.