[논문 리뷰] Uncertainty-inspired Open Set Learning for Retinal Anomaly Identification

Meng Wang, Lin Tian외 22명|arXiv (Cornell University)|2023. 04. 08.

Retinal Imaging and Analysis인용 수 4

한 줄 요약

이 논문은 심화 학습의 강건성을 향상시키기 위해 증거 불확실성 점수를 분류 확률과 함께 통합함으로써 망막 이상 진단을 위한 불확실성 기반 개방집합(UIOS) 학습 모델을 제안한다. 9종의 망막 질환 카테고리로 훈련된 UIOS는 내부 테스트 데이터에서 99.55%의 F1을 기록하고, 알려지지 않은 카테고리에서는 91.91%를 기록하여 표준 AI 모델을 크게 능가한다. 동시에 높은 불확실성 점수를 통해 분포 외 샘플을 정확히 식별함으로써 임상적 스크리닝의 신뢰성을 높이고 오진 위험을 감소시킨다.

ABSTRACT

Failure to recognize samples from the classes unseen during training is a major limitation of artificial intelligence in the real-world implementation for recognition and classification of retinal anomalies. We established an uncertainty-inspired open-set (UIOS) model, which was trained with fundus images of 9 retinal conditions. Besides assessing the probability of each category, UIOS also calculated an uncertainty score to express its confidence. Our UIOS model with thresholding strategy achieved an F1 score of 99.55%, 97.01% and 91.91% for the internal testing set, external target categories (TC)-JSIEC dataset and TC-unseen testing set, respectively, compared to the F1 score of 92.20%, 80.69% and 64.74% by the standard AI model. Furthermore, UIOS correctly predicted high uncertainty scores, which would prompt the need for a manual check in the datasets of non-target categories retinal diseases, low-quality fundus images, and non-fundus images. UIOS provides a robust method for real-world screening of retinal anomalies.

연구 동기 및 목표

• 희귀 질환, 저품질 이미지 또는 비-망막 이미지와 같은 분포 외(OOD) 망막 이미지를 탐지하지 못하는 표준 AI 모델의 핵심적 한계를 해결하기 위해.
• 추가적인 레이블이 부여된 OOD 데이터가 필요 없이도 예측의 불확실성을 식별할 수 있는 강력한 개방집합 학습 프레임워크를 개발하기 위해.
• 의료 전문가의 검토를 위한 애매하거나 새로운 사례를 자동으로 경고함으로써 AI 기반 망막 스크리닝에 대한 임상적 신뢰를 제고하기 위해.
• 훈련 세트 외의 데이터 분포에서도 신뢰할 수 있는 성능을 보장함으로써 안과 분야에서의 AI 실용적 구현을 향상시키기 위해.

제안 방법

• UIOS 모델은 각 예측에 대해 클래스 확률과 불확실성 점수를 동시에 출력하는 증거 불확실성 딥 뉴럴 네트워크를 사용한다.
• 불확실성 점수에 임계값 전략을 적용하여 예측를 고신뢰도(임계값 이하) 또는 저신뢰도(임계값 초과)로 분류함으로써 전문가 검토가 필요함을 신호한다.
• 검증 데이터에서 진성 양성과 가짜 양성 비율의 차이를 최대화하는 목적 함수를 기반으로 한 유우덴 지수 기반 최적화를 통해 최적의 임계값(θ = 0.1158)을 도출한다.
• 일괄 훈련 런타임 동안 다수의 모델 가중치를 생성하기 위해 ResNet-50를 사용하고 스냅샷 앙상블 기법을 적용하여 일반화 성능을 향상시킨다.
• 계산 효율성과 강건성을 향상시키기 위해 이미지를 무작위로 좌우 뒤집고 256×256 크기로 리사이징하는 데이터 증강 기법을 적용한다.
• JSIEC1000, RETOUCH, VOC2012 등의 다양한 데이터셋을 활용하여 내재된 분포 및 OOD 샘플에 대한 성능을 평가한다.

Figure 1 : The overview of the uncertainty-inspired open set (UIOS) learning for retinal anomaly classification. Standard artificial intelligence (AI) and UIOS AI models were trained with the same dataset with 9 categories of retinal photos. In testing, standard AI model assigns a probability value

실험 결과

연구 질문

• RQ1 훈련 중에 볼 수 없었던 분포 외 망막 이미지, 예를 들어 희귀 질환 또는 비-망막 이미지를 신뢰성 있게 탐지할 수 있는 불확실성 인식 딥 러닝 모델이 가능한가?
• RQ2 표준 AI 모델과 비교해 볼 때, 불확실성 점수 통합이 알려지지 않은 및 OOD 테스트 세트에서 망막 질환 분류의 F1 점수와 신뢰성에 어떤 영향을 미치는가?
• RQ3 불확실성 점수는 모델의 자신감을 얼마나 잘 대체할 수 있는가? 이는 애매하거나 새로운 사례를 자동으로 전문가 검토 대상으로 경고하는 데 어떤 정도 기여하는가?
• RQ4 망막 스크리닝의 개방집합 탐지에서 진성 양성과 가짜 양성 비율을 최적의 균형을 이루는 데 있어 불확실성 점수의 최적 임계값은 무엇인가?

주요 결과

• UIOS 모델은 내부 테스트 세트에서 99.55%의 F1 점수를 기록하였으며, 이는 표준 AI 모델의 92.20%보다 유의미하게 높은 성능이다.
• 외부 TC-JSIEC 데이터셋에서 UIOS는 97.01%의 F1 점수를 기록하였고, 표준 AI 모델은 80.69%에 그쳤다.
• TC-unseen 테스트 세트에서 UIOS는 91.91%의 F1 점수를 기록하였고, 표준 AI 모델은 단지 64.74%에 머물렀다. 이는 OOD 일반화 능력에서의 뛰어난 성능을 보여준다.
• 모델은 목표 카테고리 외의 망막 질환, 저품질 망막 이미지, 비-망막 이미지에 대해 높은 불확실성 점수를 정확히 할당하여, 애매하거나 새로운 사례를 신뢰성 있게 탐지함을 나타낸다.
• 최적의 불확실성 임계값은 0.1158로, 유우덴 지수 기반 최적화를 통해 도출되었으며, 이는 OOD 탐지에서 민감도와 특이도를 균형 있게 유지한다.
• UIOS 프레임워크는 고신뢰도 예측와 전문가 검토가 필요한 예측를 구분함으로써 임상적 배포의 신뢰성을 확보하며, 실제 스크리닝에서 오진 위험을 감소시킨다.

Figure 2 : The receiver operating characteristic (ROC) curves of the standard AI model, our UIOS, and UIOS+Thresholding in internal and two external testing datasets.