[논문 리뷰] An Active Learning Method for Diabetic Retinopathy Classification with Uncertainty Quantification

Muhammad Ahtazaz Ahsan, Adnan Qayyum외 2명|arXiv (Cornell University)|2020. 12. 24.

Retinal Imaging and Analysis인용 수 4

한 줄 요약

이 논문은 당뇨성 망막병증 분류를 위한 하이브리드 주의적 학습 프레임워크를 제안하며, 베이지안 컨volution 신경망(BCNN)과 불확실성 측정, 주의적 학습을 결합하여 레이블링 데이터에 대한 의존도를 낮춘다. 몬테카를로 드롭아웃을 사용해 불확실성 추정을 하고, 가장 정보가 많은 낮은 불확실성의 샘플들만 선택하여 쿼리함으로써, 최소한의 레이블링 데이터로도 이진 분류에서 92%의 최신 기술 수준(SOTA) 정확도와 다중 클래스 분류에서도 92%의 정확도를 달성한다.

ABSTRACT

In recent years, deep learning (DL) techniques have provided state-of-the-art performance on different medical imaging tasks. However, the availability of good quality annotated medical data is very challenging due to involved time constraints and the availability of expert annotators, e.g., radiologists. In addition, DL is data-hungry and their training requires extensive computational resources. Another problem with DL is their black-box nature and lack of transparency on its inner working which inhibits causal understanding and reasoning. In this paper, we jointly address these challenges by proposing a hybrid model, which uses a Bayesian convolutional neural network (BCNN) for uncertainty quantification, and an active learning approach for annotating the unlabelled data. The BCNN is used as a feature descriptor and these features are then used for training a model, in an active learning setting. We evaluate the proposed framework for diabetic retinopathy classification problem and have achieved state-of-the-art performance in terms of different metrics.

연구 동기 및 목표

• 당뇨성 망막병증 분류 분야에서 고품질의 전문가 레이블링이 내재된 의료 영상 데이터 부족 문제를 해결하기 위해.
• 베이지안 딥 러닝을 활용해 예측 불확실성을 측정하여 모델 신뢰도를 향상시키기 위해.
• 불확실성 기반 샘플링을 활용한 주의적 학습을 통해 레이블링 비용과 계산 부담을 줄이기 위해.
• 불확실성 인식 예측을 통해 임상 의사결정 지원을 가능하게 하는 투명하고 해석 가능한 모델을 개발하기 위해.
• 이 프레임워크가 이진 및 다중 클래스 당뇨성 망막병증 분류 작업 모두에서 평가되도록 하기 위해.

제안 방법

• 예측 불확실성을 추정하고 특징 기술자로 기능하기 위해 몬테카를로 드롭아웃을 사용하는 베이지안 컨volution 신경망(BCNN)을 적용한다.
• 불확실성은 드롭아웃 기반 베이지안 추론을 통해 측정되며, 다중 전방 계산을 통해 예측의 사후 분포를 추정한다.
• 주의적 학습은 풀 기반 샘플링과 쿼리 기반 위원회 전략을 사용하여 구현되며, 가장 높은 불확실성을 가진 샘플들을 레이블링 대상으로 선정한다.
• 오류 전파를 줄이기 위해, 불확실성이 낮은(임계값 이하) 샘플들과 MC 드롭아웃 실행 간 일致성이 있는 예측을 가진 샘플들만 레이블링 대상으로 선정한다.
• BCNN 특징는 주의적 학습 루프 내에서 후행 분류기 학습에 사용되며, 최소한의 레이블링 데이터로도 성능을 점진적으로 향상시킨다.
• 의료 영상에서 작업에 특화된 일반화를 보장하기 위해 ImageNet 미사전학습을 사용하지 않고, 모델을 처음부터 학습시킨다.

실험 결과

연구 질문

• RQ1 결정론적 모델에 비해 베이지안 딥 러닝이 당뇨성 망막병증 분류에서 불확실성 측정을 어떻게 향상시킬 수 있는가?
• RQ2 불확실성 기반 샘플링을 사용한 주의적 학습은 당뇨성 망막병증 분류에 필요한 레이블링 샘플 수를 얼마나 효과적으로 줄일 수 있는가?
• RQ3 하이브리드 BCNN-주의적 학습 프레임워크는 모델의 해석 가능성도 유지하면서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 불확실성 측정은 임상 의사결정 지원에서 모델의 자신감과 신뢰도에 어떤 영향을 미치는가?
• RQ5 하이퍼파라미터 튜닝(드롭아웃 비율 및 불확실성 임계값)은 의료 영상에서 BCNN의 불확실성 추정과 모델 성능에 어떤 영향을 미치는가?

주요 결과

• BCNN는 저신뢰도 예측에 대해 92%의 이진 분류 정확도와 고신뢰도 예측에 대해 81%의 정확도를 기록하여 효과적인 불확실성 인식 추론을 입증하였다.
• 다중 클래스 분류에서는 고신뢰도 예측 하에서 92%의 정확도를 달성하여 불확실성 캘리브레이션을 통한 강력한 성능을 보였다.
• 주의적 학습 프레임워크는 최신 기술 수준의 성능을 향상시켰으며, 레이블링 데이터를 줄인 상태에서 이진 분류에서 91%의 정확도를 달성했다.
• 불확실성 측정 통합으로 인해 모델의 과도한 자신감이 감소하고, 모호하거나 복잡한 케이스에서의 신뢰도가 향상되었다.
• 특히 낮은 데이터 환경에서 결정론적 CNN에 비해 정확도와 불확실성 추정 모두에서 뛰어난 성능을 보였다.
• 드롭아웃 비율과 불확실성 임계값의 하이퍼파라미터 튜닝은 모델의 안정성과 성능에 상당한 영향을 미쳤으며, 향후 최적화 여지가 있음을 시사했다.