[論文レビュー] Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep Learning

Zachary Nado, Neil Band+24 more|arXiv (Cornell University)|Jun 7, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文では、画像、表形式、テキストのベンチマークを含む9つの多様なタスクにわたり、19の最先端の深層学習手法の高品質で再現可能な実装を提供する包括的なライブラリであるUncertainty Baselinesを紹介する。統一されたパイプライン、モデルチェックポイント、リーダーボードを通じて、不確実性と頑健性の標準化された評価を可能にし、深層学習におけるベンチマークと手法比較の障壁を著しく低減する。

ABSTRACT

High-quality estimates of uncertainty and robustness are crucial for numerous real-world applications, especially for deep learning which underlies many deployed ML systems. The ability to compare techniques for improving these estimates is therefore very important for research and practice alike. Yet, competitive comparisons of methods are often lacking due to a range of reasons, including: compute availability for extensive tuning, incorporation of sufficiently many baselines, and concrete documentation for reproducibility. In this paper we introduce Uncertainty Baselines: high-quality implementations of standard and state-of-the-art deep learning methods on a variety of tasks. As of this writing, the collection spans 19 methods across 9 tasks, each with at least 5 metrics. Each baseline is a self-contained experiment pipeline with easily reusable and extendable components. Our goal is to provide immediate starting points for experimentation with new methods or applications. Additionally we provide model checkpoints, experiment outputs as Python notebooks, and leaderboards for comparing results. Code available at https://github.com/google/uncertainty-baselines.

研究の動機と目的

• 深層学習モデルにおける不確実性と頑健性を評価するための標準的で再現可能なベースラインの不足に対処すること。
• 良好にドキュメント化され、自己完結的かつ拡張可能なコード実装を提供することで、新しい手法の比較の障壁を低減すること。
• ベイジアンニューラルネットワーク、モンテカルロドロップアウト、アンサンブル手法などの多様な不確実性推定技術を、複数の実世界および標準ベンチマークにわたって統一すること。
• 一貫したハイパーパrameterチューニング、評価指標、共有された実験出力を通じて、再現性の向上と公平な比較を実現すること。
• 今後の研究の基盤としてコミュニティ主導の基盤を提供し、異なるタスクやモodalitiesに迅速に適応・拡張可能なベースラインの利用を可能にすること。

提案手法

• ライブラリは各手法のエンドツーエンドの実験パイプラインを実装し、データセットの読み込み、モデルアーキテクチャ、学習、評価をモジュラーで再利用可能なコンponentに抽象化している。
• 各ベースラインには、ベースモデルの選択（例：Wide ResNet、ResNet-50、BERT）、トレーニングデータセット（例：CIFAR、ImageNet、Diabetic Retinopathy）、評価指標（正確度、キャリブレーション誤差、選択的予測、推論遅延）が含まれる。
• 標準化されたトレーニングプロトコルが用いられ、画像モデルにはネステロフモーメンタム、テキストモデルにはAdamWが使用され、一貫した学習率スケジュールとデータ前処理（例：ランダムクロップ、反転、正規化）が適用される。
• ハイパーパrameterチューニングは準ランダムサーチを用い、2ラウンドのプロセス（広範な初期探索と焦点を絞った最適化）を経て、バリデーションAUCを評価指標として選択する。
• ライブラリはTensorFlowおよびPyTorchバックエンドをサポートし、再現性のための状態非依存ランダム操作を用いた決定論的前処理を実装している。
• すべての結果、モデルチェックポイント、実験出力はJupyterノートブックとして公開され、GitHubにホスティングされており、完全な再現性とコミュニティによる拡張を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 異なるタスクやモデルにわたって、深層学習における不確実性と頑健性をどのように一貫して評価できるか？
• RQ2 画像、表形式、テキストベンチマークにおいて、MC-Dropout、SNGP、ベイジアンニューラルネットワークなどの現代的な不確実性推定手法の相対的なパフォーマンスはどのようになるか？
• RQ3 適切にチューニングされた場合、標準ベースラインはより複雑な手法をどの程度上回るのか？
• RQ4 共有され、良好にドキュメント化されたコードベースを通じて、不確実性研究における再現性と公平な比較をどのように改善できるか？
• RQ5 統一的でコミュニティメンテナンスの可能なライブラリは、新しい不確実性手法のベンチマーク作成に要する作業を著しく削減できるか？

主な発見

• Uncertainty Baselinesライブラリは、9つのタスクにわたり83の異なるベースラインを提供し、ベイジアンニューラルネットワーク、モンテカルロドロップアウト、アンサンブル、SNGP、Hyper-BatchEnsembleを含む19の不確実性推定手法をカバーしている。
• 糖尿病網膜症ベンチマークでは、準ランダムサーチによるハイパーパrameterチューニングによりバリデーションAUCが向上し、最終的なモデルは最適なパフォーマンスを得るためにトレーニング+バリデーションセットを統合して再学習された。
• ライブラリは1ベースラインあたり5つ以上の指標を用いた一貫した評価を可能にし、予測正確度、キャリブレーション誤差、選択的予測、推論遅延が含まれる。
• モデルチェックポイント、実験出力、Jupyterノートブックは公開されており、完全な再現性を確保するとともに、新しい研究への迅速な適応を促進している。
• Riquelmeら（2018）、Hendrycks＆Dietterich（2019）の研究から得られたこれまで孤立していたベンチマークが、1つのスケーラブルでテストが十分に行われ、メンテナンスが活発なコードベースに統合された。
• トレーニングプロトコル、データ前処理、評価の標準化により、これまでのアドホックな実装とは異なり、より公平で信頼性の高い手法間比較が可能になった。