[논문 리뷰] Unifying Structure Analysis and Surrogate-driven Function Regression for Glaucoma OCT Image Screening

Xi Wang, Hao Chen외 6명|arXiv (Cornell University)|2019. 07. 26.

Retinal Imaging and Analysis참고 문헌 12인용 수 6

한 줄 요약

이 논문은 원시 OCT 영상과 시각장 데이터를 사용하여 구조적 및 기능적 변화를 종합적으로 모델링하는 종합적인 자동화된 방법의 부족을 해결하고자, 구조 분석과 서rogate 기반 기능 회귀를 통합하는 준지도 학습 다중 작업 딥 러닝 프레임워크를 제안한다. 결측된 시각장 측정치를 보완하기 위한 새로운 준지도 학습 전략을 활용하고, 분류 및 회귀를 동시에 수행하는 2D-ResNet 기반의 네트워크를 공동 학습시킴으로써, 기존 기준 모델과 두 명의 전문 안과의사보다 뛰어난 성능을 달성하였으며, 4,877개의 OCT 볼륨으로 구성된 새로 구축된 데이터셋에서 93.2%의 정확도, 93.2%의 F1 스코어, 97.8%의 AUC를 기록하였다.

ABSTRACT

Optical Coherence Tomography (OCT) imaging plays an important role in glaucoma diagnosis in clinical practice. Early detection and timely treatment can prevent glaucoma patients from permanent vision loss. However, only a dearth of automated methods has been developed based on OCT images for glaucoma study. In this paper, we present a novel framework to effectively classify glaucoma OCT images from normal ones. A semi-supervised learning strategy with smoothness assumption is applied for surrogate assignment of missing function regression labels. Besides, the proposed multi-task learning network is capable of exploring the structure and function relationship from the OCT image and visual field measurement simultaneously, which contributes to classification performance boosting. Essentially, we are the first to unify the structure analysis and function regression for glaucoma screening. It is also worth noting that we build the largest glaucoma OCT image dataset involving 4877 volumes to develop and evaluate the proposed method. Extensive experiments demonstrate that our framework outperforms the baseline methods and two glaucoma experts by a large margin, achieving 93.2%, 93.2% and 97.8% on accuracy, F1 score and AUC, respectively.

연구 동기 및 목표

• 원시 OCT 영상과 시각장 데이터를 사용하여 당뇨병성 망막병변의 구조적 및 기능적 변화를 동시에 모델링하는 종합적인 자동화된 방법의 부족을 해결하기 위해.
• 임상적 OCT 데이터셋에서 결측된 시각장 측정치 레이블 문제를 준지도 학습 기반의 서rogate 레이블 할당 전략을 통해 극복하기 위해.
• 다중 작업 학습을 통해 획득한 구조-기능 관계를 활용하여, 보다 향상된 진단 성능을 달성하기 위해 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 강력한 모델 개발 및 평가를 지원하기 위해 공개 가능한 가장 큰 당뇨병성 망막병변 OCT 데이터셋(4,877볼륨)을 구축하고 공개하기 위해.

제안 방법

• 결측된 진단 기준 시각장(VF) 데이터를 가진 OCT 볼륨에 대해, 매끄러운 성질을 가진 준지도 학습 전략을 사용하여 서rogate 시각장(VF) 측정치를 생성한다.
• 실제 및 가짜 레이블이 부여된 시각장 데이터를 사용하여, 이중 분류(이진) 및 시각장 기능 회귀(VFI, MD, PSD)를 동시에 수행하는 다중 작업 2D-ResNet 기반의 네트워크를 학습한다.
• 분류 및 회귀 특징를 연결하여 결정 경계를 향상시켜, 기능적 정보를 활용하여 더 나은 구조적 분류 성능을 달성하도록 한다.
• 유사한 OCT 볼륨 간의 특징 유사성과 공간 일관성을 바탕으로 신뢰할 수 있는 VF 레이블을 전파하는 서rogate 레이블 할당 전략을 사용한다.
• 완전한 케이스의 경우 실재 레이블과, 불완전한 케이스의 경우 가짜 레이블을 사용하여 학습을 수행하며, VF 데이터가 없는 샘플의 경우 회귀 손실을 마스킹한다.
• 분류 결정에 가장 기여하는 영역을 시각화하고 해석하기 위해 클래스 활성화 맵(CAMs)을 사용한다.

실험 결과

연구 질문

• RQ1 준지도 학습 전략이 OCT 데이터셋에서 결측된 시각장 측정치를 효과적으로 보간하여, 종합적인 구조-기능 모델링을 가능하게 할 수 있는가?
• RQ2 다중 작업 학습을 통해 기능 회귀를 구조 분류와 통합하면 단일 작업 접근법보다 당뇨병성 망막병변 선별 성능이 향상되는가?
• RQ3 OCT 영상의 구조적 및 기능적 변화를 동시에 모델링하는 통합된 딥 러닝 프레임워크가 전문 안과의사보다 더 뛰어난 진단 능력을 갖출 수 있는가?
• RQ4 제안된 방법은 결측된 임상 기록이 포함된 대규모 실생활 OCT 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 2D-ResNet-SEMT 프레임워크는 영상 수준 분류 작업에서 93.2%의 정확도, 93.2%의 F1 스코어, 97.8%의 AUC를 기록하여 기존 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 이 방법은 각각 91.2%와 90.5%의 정확도를 기록한 두 명의 경험이 풍부한 당뇨병성 망막병변 전문의를 뛰어넘었으며, 더 뛰어난 진단 능력을 보여주었다.
• 준지도 학습 기반의 서rogate 레이블 할당 전략은 결측된 시각장 데이터를 효과적으로 복구하여, 부분적으로 레이블이 부여된 대규모 데이터셋에서 강력한 다중 작업 학습을 가능하게 하였다.
• 회귀 및 분류 브랜치의 통합은 분류 성능을 향상시켰으며, 기준 2D-ResNet 대비 2D-ResNet-MT는 F1 스코어에서 5.1% 향상되었다.
• 클래스 활성화 맵을 통해 시각화한 모델의 판별 영역는 임상 지식과 일치하였으며, 당뇨병성 망막병변에 영향을 받은 망막 신경섬유층 영역에서 높은 활성도를 보였다.
• 기존의 최고 성능을 기록한 3D-CNN 방법보다 본 프레임워크는 정확도에서 4.8%p, F1 스코어에서 5.1%p, AUC에서 1.6%p 향상되어 성능 및 일반화 능력 면에서 뛰어난 superiority를 입증하였다.