[논문 리뷰] Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep Learning

Zachary Nado, Neil Band외 24명|arXiv (Cornell University)|2021. 06. 07.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 이미지, 표준, 텍스트 벤치마크를 포함한 9개의 다양한 작업에서 최신 딥러닝 기법 19종에 대한 고품질이고 재현 가능한 구현을 제공하는 포괄적인 라이브러리인 Uncertainty Baselines를 소개한다. 이는 통합된 파ip라인, 모델 체크포인트, 랭킹을 통해 불확실성과 강건성의 표준화된 평가를 가능하게 하여 딥러닝 분야에서 벤치마킹과 방법 비교의 장벽을 크게 낮춘다.

ABSTRACT

High-quality estimates of uncertainty and robustness are crucial for numerous real-world applications, especially for deep learning which underlies many deployed ML systems. The ability to compare techniques for improving these estimates is therefore very important for research and practice alike. Yet, competitive comparisons of methods are often lacking due to a range of reasons, including: compute availability for extensive tuning, incorporation of sufficiently many baselines, and concrete documentation for reproducibility. In this paper we introduce Uncertainty Baselines: high-quality implementations of standard and state-of-the-art deep learning methods on a variety of tasks. As of this writing, the collection spans 19 methods across 9 tasks, each with at least 5 metrics. Each baseline is a self-contained experiment pipeline with easily reusable and extendable components. Our goal is to provide immediate starting points for experimentation with new methods or applications. Additionally we provide model checkpoints, experiment outputs as Python notebooks, and leaderboards for comparing results. Code available at https://github.com/google/uncertainty-baselines.

연구 동기 및 목표

• 딥러닝 모델의 불확실성과 강건성 평가를 위한 표준화되고 재현 가능한 베이스라인의 부족을 해결하기 위해.
• 잘 문서화되고 독립적이며 확장 가능한 코드 구현을 제공함으로써 새로운 방법 간 비교의 장벽을 낮추기 위해.
• 베이지안 신경망, 몬테카를로 드롭아웃, 앙상블 방법과 같은 다양한 불확실성 추정 기법을 실제 및 표준 벤치마크 전반에 걸쳐 통합하기 위해.
• 일관된 초파rameter 튜닝, 평가 지표, 공유된 실험 출력을 제공함으로써 재현성 향상과 공정한 비교를 위해 노력하기 위해.
• 다양한 작업과 모odalities에 걸쳐 빠르게 적응하고 확장할 수 있도록 공동체 기반의 기초를 제공하기 위해.

제안 방법

• 각 방법에 대해 종단 간 실험 파이프라인을 라이브러리가 제공하며, 데이터셋 로딩, 모델 아키텍처, 훈련, 평가를 모듈화되고 재사용 가능한 구성요소로 추상화한다.
• 각 베이스라인에는 기초 모델 선택지(예: Wide ResNet, ResNet-50, BERT), 훈련 데이터셋(예: CIFAR, ImageNet, Diabetic Retinopathy), 평가 지표(정확도, 校정 오차, 선택적 예측, 추론 지연 시간)가 포함되어 있다.
• 표준화된 훈련 프로토콜을 사용하며, 이미지 모델에는 네스터프 모멘타ム, 텍스트 모델에는 AdamW를 사용하고, 일관된 학습률 스케줄링과 데이터 전처리(예: 무작위 컷오프, 플립, 정규화)를 적용한다.
• 초파rameter 튜닝은 2라운드의 쿼asi랜덤 서치를 통해 수행되며, 넓은 초기 탐색 후 집중적인 정밀 조정을 거치며, 검증 AUC를 선택 기준으로 삼는다.
• 라이브러리는 텐서플로우와 파이토치 백엔드를 모두 지원하며, 재현 가능성을 위해 상태 없는 랜덤 연산을 사용하는 결정론적 전처리를 제공한다.
• 모든 결과, 모델 체크포인트, 실험 출력은 Jupyter 노트북 형식으로 게시되고 GitHub에 호스팅되어 있어 완전한 재현 가능성과 공동체의 확장 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 다양한 작업과 모델 간에 딥러닝에서의 불확실성과 강건성을 어떻게 일관되게 평가할 수 있는가?
• RQ2 최근의 불확실성 추정 방법들(예: MC-Dropout, SNGP, 베이지안 신경망)이 이미지, 표준, 텍스트 벤치마크에서 상대적으로 어떤 성능을 내는가?
• RQ3 적절히 튜닝된 표준 베이스라인이 더 복잡한 방법들보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 공동체가 공유하고 잘 문서화된 코드베이스를 통해 불확실성 연구의 재현성과 공정한 비교는 어떻게 향상될 수 있는가?
• RQ5 통합된 공동체 유지 보수 라이브러리는 새로운 불확실성 방법의 벤치마킹에 필요한 노력의 양을 어떻게 크게 줄일 수 있는가?

주요 결과

• Uncertainty Baselines 라이브러리는 9개의 작업에 걸쳐 총 83개의 별도의 베이스라인을 제공하며, 베이지안 신경망, 몬테카를로 드롭아웃, 앙상블, SNGP, 하이퍼-배치앙상블 등 19개의 불확실성 추정 방법을 포함한다.
• 당뇨병 망막병변 벤치마크에서 쿼시랜덤 서치를 통한 초파라미터 튜닝으로 검증 AUC가 향상되었으며, 최종 모델는 최적 성능을 내기 위해 합쳐진 훈련+검증 세트로 재학습되었다.
• 각 베이스라인에 대해 5개 이상의 지표를 사용한 일관된 평가가 가능하며, 예측 정확도, 校정 오차, 선택적 예측, 추론 지연 시간 등이 포함된다.
• 모델 체크포인트, 실험 출력, Jupyter 노트북은 모두 공개되어 있어 완전한 재현 가능성과 새로운 연구에 대한 빠른 적응을 가능하게 한다.
• 이전에 분리되어 있던 벤치마크(예: Riquelme et al., 2018; Hendrycks & Dietterich, 2019)를 하나의 확장 가능하고 잘 테스트된 코드베이스로 통합하였으며, 활발한 유지보수를 제공한다.
• 훈련 프로토콜, 데이터 전처리, 평가를 표준화함으로써 이전의 수동적 구현보다 공정하고 신뢰할 수 있는 방법 간 비교가 가능해졌다.