[논문 리뷰] Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep Learning

Zachary Nado, Neil Band외 22명|arXiv (Cornell University)|2021. 06. 07.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 31

한 줄 요약

이 논문은 이미지, 테이블, 텍스트 모odal을 포함한 9개의 다양한 작업에서 최신 딥러닝 기법 19종에 대한 고품질이고 재현 가능한 구현을 제공하는 종합적인 라이브러리인 Uncertainty Baselines를 소개한다. 이 프레임워크는 표준화된 평가 지표, 모델 체크포인트, 실험 노트북을 제공하여 불확실성 및 내성적 강건성 기법에 대한 공정하고 확장 가능하며 재현 가능한 벤치마킹을 가능하게 한다.

ABSTRACT

High-quality estimates of uncertainty and robustness are crucial for numerous real-world applications, especially for deep learning which underlies many deployed ML systems. The ability to compare techniques for improving these estimates is therefore very important for research and practice alike. Yet, competitive comparisons of methods are often lacking due to a range of reasons, including: compute availability for extensive tuning, incorporation of sufficiently many baselines, and concrete documentation for reproducibility. In this paper we introduce Uncertainty Baselines: high-quality implementations of standard and state-of-the-art deep learning methods on a variety of tasks. As of this writing, the collection spans 19 methods across 9 tasks, each with at least 5 metrics. Each baseline is a self-contained experiment pipeline with easily reusable and extendable components. Our goal is to provide immediate starting points for experimentation with new methods or applications. Additionally we provide model checkpoints, experiment outputs as Python notebooks, and leaderboards for comparing results. Code available at https://github.com/google/uncertainty-baselines.

연구 동기 및 목표

• 딥러닝 모델의 불확실성과 내성적 강건성 평가를 위한 재현 가능하고 표준화된 벤치마크의 부족을 해소한다.
• 기존 방법을 비교하고 확장하는 데 필요한 노력의 부담을 줄이기 위해 통합적이고 잘 문서화되고 유지보수가 가능한 코드베이스를 제공한다.
• 일致된 실험 프로토콜을 사용하여 연구자와 실무자가 새로운 불확실성 추정 기법을 신속하게 프로토타ип하고 평가할 수 있도록 한다.
• 이미지, 테이블, 텍스트 등 다양한 모달리티와 실세계 데이터셋(CIFAR, ImageNet, Diabetic Retinopathy, CLINC Intent Detection 등)을 지원한다.
• 공유된 지표, 체크포인트, 랭킹을 통해 공동체 수준의 표준을 설정하여 불확실성과 분포 외 강건성 평가를 정의한다.

제안 방법

• 각 베이스라인을 데이터 로딩, 모델 정의, 학습, 평가 컴포넌트를 명확히 분리한 자체 포함형 최소 종속성 실험 파이프라인으로 설계한다.
• TensorFlow와 PyTorch 백엔드를 모두 지원하는 모듈러 아키텍처를 구현하여 모델과 데이터셋 간 일관된 인터페이스를 제공한다.
• 무작위 작동을 상태 없는 방식으로 구현하여 결정론적 동작을 보장하는 표준화된 전처리 파이프라인(예: 무작위 컷, 플립, 정규화)을 통합한다.
• MC-Dropout, 베이지안 신경망(BNNs), SNGP, 배치 엔semble, 앙상블 방법 등 다양한 불확실성 추정 방법을 지원한다.
• 핵심 벤치마크(예: Diabetic Retinopathy)에 대해 다중 라운드의 쿼asi랜덤 서치를 통한 하이퍼파rameter 튜닝을 실시한 후, 최종적으로 합쳐진 훈련/검증 세트에서 재학습한다.
• 실험 결과를 재사용 가능한 파이썬 노트북과 모델 체크포인트 형태로 제공하여 완전한 재현 가능성과 확장 용이성을 확보한다.

실험 결과

연구 질문

• RQ1 다양한 작업과 모달리티에서 딥러닝의 불확실성과 내성적 강건성에 대한 표준화되고 재현 가능한 벤치마킹 프레임워크를 어떻게 구축할 수 있는가?
• RQ2 SNGP, MC-Dropout, BNNs 등의 현대적 불확실성 추정 방법들이 이미지, 테이블, 텍스트 기반 벤치마크에서 상대적으로 어떻게 성능을 내는가?
• RQ3 일致된 잘 튜닝된 프로토콜 하에서 단순한 베이스라인은 복잡한 방법보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 AdamW, RMSProp, Nesterov 등의 다양한 최적화 전략과 학습률 스케줄링 방식이 불확실성 캘리브레이션과 내성적 강건성에 어떤 영향을 미치는가?
• RQ5 통합적이고 공동체가 유지하는 라이브러리는 딥러닝에서 불확실성 탐색을 위한 연구자들의 진입 장벽을 어떻게 크게 낮출 수 있는가?

주요 결과

• Uncertainty Baselines 라이브러리는 9개의 작업에 걸쳐 총 83개의 베이스라인을 포함하며, 각 작업에서 최소 5개의 표준화된 지표를 사용해 19종의 별도 방법을 평가한다.
• Diabetic Retinopathy 벤치마크에서 쿼اسي랜덤 서치를 통한 하이퍼파rameter 튜닝은 10개의 시드 런을 통해 최종 검증 AUC를 최대 0.91 향상시켰으며, 신뢰성 있는 비교를 가능하게 했다.
• SNGP와 MC-Dropout는 이미지 및 텍스트 작업 전반에서 뛰어난 성능을 보였으며, SNGP는 CIFAR-10과 ImageNet에서 강력한 캘리브레이션을 보였다.
• 앙상블 및 하이퍼딥 앙상블 방법은 여러 벤치마크에서 높은 정확도와 내성적 강건성을 보였지만, 추론 지연이 증가했다.
• 변분 추론과 레이디얼 BNNs는 UCI 테이블 데이터와 의료 영상(Diabetic Retinopathy) 작업에서 경쟁적인 성능을 보였으며, 이는 이 기법들이 시각 분야 외에도 적용 가능하다는 것을 검증한다.
• 라이브러리의 표준화된 훈련 및 평가 프로토콜 덕분에 방법 간 직접 비교가 가능해졌으며, 적절히 튜닝된 경우 단순한 방법(예: MC-Dropout)이 더 복잡한 방법보다 뛰어난 성능을 내는 것으로 드러났다.