[논문 리뷰] Multimodal Information Fusion for Glaucoma and DR Classification

Yihao Li, Mostafa El Habib Daho외 10명|arXiv (Cornell University)|2022. 09. 02.

Retinal Imaging and Analysis인용 수 4

한 줄 요약

이 논문은 망막 질환 분류를 위한 다중모달 딥 러닝에서 새로운 계층적 융합 방법을 제안하며, 2D 망막 사진, 3D OCT 및 OCT 혈관조영 영상 데이터를 융합하여 녹내증과 당뇨성 망막병증 진단을 향상시킨다. 이 방법은 여러 네트워크 차원에서 다중모달 간 상관관계를 모델링하여 초기 융합 및 중간 융합보다 뛰어난 성능을 보이며, GAMMA 데이터셋에서 Kappa 0.8996, PlexEliteDR 데이터셋에서 AUC 0.911의 성과를 달성한다.

ABSTRACT

Multimodal information is frequently available in medical tasks. By combining information from multiple sources, clinicians are able to make more accurate judgments. In recent years, multiple imaging techniques have been used in clinical practice for retinal analysis: 2D fundus photographs, 3D optical coherence tomography (OCT) and 3D OCT angiography, etc. Our paper investigates three multimodal information fusion strategies based on deep learning to solve retinal analysis tasks: early fusion, intermediate fusion, and hierarchical fusion. The commonly used early and intermediate fusions are simple but do not fully exploit the complementary information between modalities. We developed a hierarchical fusion approach that focuses on combining features across multiple dimensions of the network, as well as exploring the correlation between modalities. These approaches were applied to glaucoma and diabetic retinopathy classification, using the public GAMMA dataset (fundus photographs and OCT) and a private dataset of PlexElite 9000 (Carl Zeis Meditec Inc.) OCT angiography acquisitions, respectively. Our hierarchical fusion method performed the best in both cases and paved the way for better clinical diagnosis.

연구 동기 및 목표

• 단일 모odal 망막 질환 분류의 한계를 극복하기 위해 다중모달 영상 데이터를 활용하고자 한다.
• 망막 사진, OCT 및 OCT 혈관조영 영상에서 유사한 정보를 융합하여 녹내증과 당뇨성 망막병증의 진단 정확도를 향상시키고자 한다.
• 여러 네트워크 차원에서 다중모달 상관관계를 모델링하여 초기 융합 또는 중간 융합보다 더 효과적인 융합 전략을 개발하고자 한다.
• 공개 데이터셋(GAMMA)과 비공개 데이터셋(PlexEliteDR)을 대상으로 제안된 계층적 융합 방법을 검증하여 임상 적용의 견고성을 확보하고자 한다.

제안 방법

• 깊이 신경망의 여러 차원에서 특징을 융합하는 계층적 융합 프레임워크를 개발하여, 모달리티별 특징과 다중모달 표현을 함께 학습할 수 있도록 한다.
• 3D 컨volution 신경망을 사용하여 3D OCT 볼륨에서 공간적 특징을 추출하고, 2D/3D CNN을 활용하여 망막 영상 및 OCT 혈관조영 영상 데이터를 처리한다.
• 모달리티별 특징을 후기 단계에서 연결한 후, 정보성 있는 다중모달 상관관계를 강조하기 위해 어텐션 메커니즘을 적용한다.
• GAMMA 데이터셋에서 성능을 향상시키기 위해 ResNet50 및 ResNet101 모델의 앙상블을 구현한다.
• 일반화 성능 향상을 위해 데이터 증강 및 ImageNet 사전학습된 백본(ResNet, DenseNet)을 활용한 전이학습을 구현한다.
• 배치 정규화 및 학습률 스케줄링을 적용하여 훈련을 최적화하며, 하드웨어 제약 조건에 맞게 배치 크기를 조정한다(예: ResNet152의 경우 감소).

실험 결과

연구 질문

• RQ1 계층적 융합이 다중모달 망막 질환 분류에서 초기 융합 및 중간 융합보다 뛰어난 성능을 보일 수 있는가?
• RQ2 망막 영상과 OCT 영상 간의 공간적 비일치가 융합 성능에 미치는 영향은 무엇이며, 계층적 융합이 이를 완화할 수 있는가?
• RQ3 OCT 혈관조영 영상 데이터의 포함이 구조적 OCT 및 망막 사진 외의 분류 성능 향상에 기여하는가?
• RQ4 다양한 백본 아키텍처(ResNet, DenseNet)가 계층적 융합의 성능에 미치는 영향은 무엇인가?
• RQ5 다양한 수준의 모달리티 일치 정도를 가진 데이터셋 간에서 계층적 융합이 일반화 가능한가?

주요 결과

• 계층적 융합 방법은 GAMMA 데이터셋에서 Kappa 점수 0.8996을 기록하여 중간 융합(Kappa 0.7340) 및 단일 모달리티 접근법(Kappa 0.6382)보다 유의미하게 뛰어난 성능을 보였다.
• PlexEliteDR 데이터셋에서는 DenseNet121를 사용하여 계층적 융합이 AUC 0.911을 달성했으며, 단일 모달리티 기준선(AUC 0.859) 및 초기 융합(AUC 0.865)을 모두 초월했다.
• GAMMA 데이터셋에서 중간 융합이 성능이 열등한 것은 망막 영상과 OCT 영상 간의 공간적 비일치 때문이며, 이는 정렬 없이 특징 수준에서의 융합에는 한계가 있음을 시사한다.
• PlexEliteDR 데이터셋에서는 초기 융합이 양호한 성능을 보인 것은 모달리티 간 공간적 일치가 잘 되어 있었기 때문에, 이는 입력 수준 융합에서 정렬의 중요성을 입증한다.
• 계층적 융합 모델은 강력한 일반화 성능을 보이며, 다양한 백본 및 데이터셋에서 최고의 성능을 기록했다.
• 계층적 프레임워크 내에서 ResNet50 및 ResNet101 모델을 앙상블함으로써 GAMMA 데이터셋의 Kappa 점수는 0.8996까지 향상되었으며, 이는 모델 다양성의 이점임을 시사한다.