[논문 리뷰] Benchmarking Bayesian Deep Learning on Diabetic Retinopathy Detection Tasks

Neil Band, Tim G. J. Rudner외 7명|arXiv (Cornell University)|2022. 11. 23.

Anomaly Detection Techniques and Applications참고 문헌 34인용 수 15

한 줄 요약

이 논문은 안정성 기반 의료 환경에서 베이지안 딥 러닝 모델의 신뢰성 평가를 위해 실용적이고 오픈소스인 당뇨성 망막병변 탐지 작업을 위한 Retina Benchmark를 소개한다. 이는 고해상도 망막 영상에서 최신 베이지안 방법을 사례별 지표를 사용해 평가하며, 딥 앙상블과 불확실성 캘리브레이션을 통한 몽테카를로 드롭아웃이 분포 이탈 상황에서도 가장 높은 성능과 가장 신뢰할 수 있는 불확실성 추정을 달성함을 보여준다.

ABSTRACT

Bayesian deep learning seeks to equip deep neural networks with the ability to precisely quantify their predictive uncertainty, and has promised to make deep learning more reliable for safety-critical real-world applications. Yet, existing Bayesian deep learning methods fall short of this promise; new methods continue to be evaluated on unrealistic test beds that do not reflect the complexities of downstream real-world tasks that would benefit most from reliable uncertainty quantification. We propose the RETINA Benchmark, a set of real-world tasks that accurately reflect such complexities and are designed to assess the reliability of predictive models in safety-critical scenarios. Specifically, we curate two publicly available datasets of high-resolution human retina images exhibiting varying degrees of diabetic retinopathy, a medical condition that can lead to blindness, and use them to design a suite of automated diagnosis tasks that require reliable predictive uncertainty quantification. We use these tasks to benchmark well-established and state-of-the-art Bayesian deep learning methods on task-specific evaluation metrics. We provide an easy-to-use codebase for fast and easy benchmarking following reproducibility and software design principles. We provide implementations of all methods included in the benchmark as well as results computed over 100 TPU days, 20 GPU days, 400 hyperparameter configurations, and evaluation on at least 6 random seeds each.

연구 동기 및 목표

• 안정성 기반 응용 분야에서 베이지안 딥 러닝을 평가하기 위한 표준화되고 실용적인 벤치마크의 부족을 해결하기 위해.
• 특히 고해상도 망막 영상에서 당뇨성 망막병변을 탐지하는 데 있어 실제 의료 진단의 복잡성을 반영하는 후행 작업을 설계하기 위해.
• 예측 성능과 불확실성 신뢰성 평가를 위한 사례별 지표를 사용해 기존 및 최신 베이지안 딥 러닝 방법을 평가하기 위해.
• 100 TPU 일 및 20 GPU 일 동안 400개의 하이퍼파라미터 설정에서 훈련된 사전 학습 모델을 포함한 재현 가능하고 모듈화되며 확장 가능한 코드베이스를 제공하기 위해.
• 실제 데이터와 평가 프로토콜을 사용해 도메인 전문 지식이 최소한인 실무자들이 새로운 방법을 쉽게 벤치마크할 수 있도록 하기 위해.

제안 방법

• 저자들은 고해상도 망막 영상에 당뇨성 망막병변의 정도가 다양하게 포함된 두 개의 공개 데이터셋인 EyePACS와 APTOS를 수집하였다.
• 안정성 기반 진단 작업 두 가지를 설계하였는데, 하나는 표준 탐지 작업이며 다른 하나는 영상 흐림을 통해 분포 이탈을 시뮬레이션하여 내성적 저항성을 테스트하는 작업이다.
• 정확도, AUROC, 불확실성 캘리브레이션 등의 지표를 사용해 몽테카를로 드롭아웃, 딥 앙상블, MAP 추론 등 다양한 베이지안 딥 러닝 방법을 평가하였다.
• 임계값 기반 자동 진단 파이프라인을 사용하였으며, 불확실성이 임계값 γ 이하인 예측은 수락하고, 그 이상일 경우 인간 전문가에게 이관하였다.
• 400개의 하이퍼파라미터 설정에서 광범위한 하이퍼파라미터 튜닝을 수행하였고, 6개의 랜덤 시드에서 결과를 평가하였으며, 결과는 100 TPU 일 및 20 GPU 일 동안의 계산 자원을 소비하였다.
• 코드베이스는 오픈소스로 공개되었으며 재현 가능하도록 설계되어 있어 새로운 방법의 벤치마크가 간편하게 수행될 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 실제 당뇨성 망막병변 탐지 작업에서 다양한 베이지안 딥 러닝 방법의 예측 정확도와 불확실성 캘리브레이션 성능은 어떻게 되는가?
• RQ2 영상 흐림을 통해 분포 이탈을 시뮬레이션한 경우, 이러한 방법들은 어떻게 일반화되는가?
• RQ3 안정성 기반 의료 환경에서 예측 정확성과 관련된 가장 신뢰할 수 있는 불확실성 추정을 제공하는 베이지안 방법은 무엇인가?
• RQ4 표준화되고 오픈소스인 벤치마크는 의료 AI 분야에서 베이지안 딥 러닝 방법의 재현 가능성 향상과 공정한 비교를 어떻게 향상시킬 수 있는가?
• RQ5 불확실성 측정이 전문가 검토 임계값과 통합되었을 때, 자동 진단 파이프라인의 신뢰성은 어떻게 영향을 받는가?

주요 결과

• 딥 앙상블에 블러 증강을 적용한 방법(-blur30)이 APTOS 2019 분포 이탈 데이터셋에서 가장 높은 정확도(94.2% ± 0.2)와 AUROC(98.4% ± 0.0)를 기록하여 다른 방법들을 압도하였다.
• 앙상블 평균을 사용한 몽테카를로 드롭아웃은 동일한 테스트 세트에서 94.1% ± 0.1 정확도와 98.3% ± 0.0 AUROC를 기록하여 뛰어난 성능을 보였다.
• EyePACS 데이터셋에서는 딥 앙상블에 -blur20 및 -blur30를 적용한 결과, 각각 97.9% ± 0.0 및 98.4% ± 0.0 AUROC를 기록하여 불확실성 하에서 높은 신뢰성을 보였다.
• 가장 우수한 불확실성 캘리브레이션 성능을 보인 방법은 딥 앙상블 -blur30였으며, APTOS 분포 이탈 데이터셋에서 98.4% ± 0.0 AUROC를 기록하여 불확실성과 예측 정확성 간 강한 상관관계를 보였다.
• 적절한 불확실성 캘리브레이션을 갖춘 베이지안 방법은 분포 이탈 환경에서 가짜 양성 결과를 크게 감소시켰으며, 불확실성 추정이 모호한 케이스를 효과적으로 전문가 검토 대상으로 표시하였다.
• Retina Benchmark는 불확실성 인식 모델이 낮은 불확실성 케이스에 대해서는 인간 검토 의존도를 줄이면서도 높은 진단 신뢰성을 유지할 수 있음을 입증하였다.