[論文レビュー] Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep Learning

Zachary Nado, Neil Band+22 more|arXiv (Cornell University)|Jun 7, 2021

Adversarial Robustness in Machine Learning参考文献 31被引用数 31

ひとこと要約

この論文では、画像、表形式、テキストのマルチモダリティをカバーする9つの異なるタスクにおいて、19の最先端の深層学習手法の高品質で再現可能なかつ包括的な実装を提供する、Uncertainty Baselinesというライブラリを紹介する。このフレームワークは、標準化された評価指標、モデルチェックポイント、実験用ノートブックを提供し、不確実性と耐性の技術を公平でスケーラブルかつ再現可能にベンチマーク化することを可能にする。

ABSTRACT

High-quality estimates of uncertainty and robustness are crucial for numerous real-world applications, especially for deep learning which underlies many deployed ML systems. The ability to compare techniques for improving these estimates is therefore very important for research and practice alike. Yet, competitive comparisons of methods are often lacking due to a range of reasons, including: compute availability for extensive tuning, incorporation of sufficiently many baselines, and concrete documentation for reproducibility. In this paper we introduce Uncertainty Baselines: high-quality implementations of standard and state-of-the-art deep learning methods on a variety of tasks. As of this writing, the collection spans 19 methods across 9 tasks, each with at least 5 metrics. Each baseline is a self-contained experiment pipeline with easily reusable and extendable components. Our goal is to provide immediate starting points for experimentation with new methods or applications. Additionally we provide model checkpoints, experiment outputs as Python notebooks, and leaderboards for comparing results. Code available at https://github.com/google/uncertainty-baselines.

研究の動機と目的

• 深層学習モデルにおける不確実性と耐性を評価するための再現可能で標準化されたベンチマークの不足に対処すること。
• 比較や拡張に必要な作業を軽減するため、統一的で良好にドキュメント化され、保守可能なコードベースを提供すること。
• 一貫した実験プロトコルを用いて、研究者や実務家が新しい不確実性推定手法を迅速にプロトタイプ化・評価できるようにすること。
• CIFAR、ImageNet、Diabetic Retinopathy、CLINC Intent Detectionを含む、画像、表形式、テキストの多様なモダリティと実世界のデータセットをサポートすること。
• 共有された指標、チェックポイント、リーダーボードを通じて、コミュニティ全体で不確実性と分布外耐性を評価する基準を確立すること。

提案手法

• 各ベースラインを、データ読み込み、モデル定義、学習、評価の各コンponentが明確に分離された、自己完結的で依存関係が最小限の実験パイプラインとして設計する。
• TensorFlowとPyTorchの両方のバックエンドをサポートするモジュラーなアーキテクチャを実装し、モデルとデータセット間で一貫したインターフェースを提供する。
• 状態なしランダム操作を用いて、決定論的な振る舞いを示す標準化された前処理パイプライン（例：ランダムクロップ、反転、正規化）を統合する。
• MC-Dropout、ベイジアンニューラルネットワーク（BNNs）、SNGP、BatchEnsemble、アンサンブル手法など、幅広い不確実性推定手法をサポートする。
• 主なベンチマーク（例：Diabetic Retinopathy）において、クオシランダムサーチを用いたハイパーパramータチューニングを複数ラウンド実施し、最終的に訓練/検証データセットを統合して再学習を行う。
• 実験の出力を再利用可能なPythonノートブックとモデルチェックポイントとして提供することで、完全な再現性と拡張のしやすさを確保する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、多様なタスクとモダリティにわたる深層学習における不確実性と耐性のための標準化され再現可能なベンチマークフレームワークを構築できるか？
• RQ2 SNGP、MC-Dropout、BNNsなどの現代的な不確実性推定手法が、画像、表形式、テキストベースのベンチマークでそれぞれどのように相対的に性能を発揮するか？
• RQ3 一貫した、よくチューニングされたプロトコルのもとで、単純なベースラインが複雑な手法を上回る程度はどの程度か？
• RQ4 AdamW、RMSProp、Nesterovなどの異なる最適化戦略や、学習率スケジューリングが不確実性のキャリブレーションと耐性にどのように影響するか？
• RQ5 統一的でコミュニティがメンテナンスするライブラリは、深層学習における不確実性を探索する研究者にとっての入り口を著しく低下させることができるか？

主な発見

• Uncertainty Baselinesライブラリには、9つのタスクにわたって合計83のベースラインが含まれており、各タスクで少なくとも5つの標準化された指標を用いて19の異なる手法が評価されている。
• Diabetic Retinopathyベンチマークでは、クオシランダムサーチによるハイパーパramータチューニングにより、10回のシードランで最大0.91の検証AUC向上が達成され、信頼性のある比較が可能になった。
• SNGPとMC-Dropoutは、画像およびテキストタスクにおいて一貫して高い性能を発揮し、SNGPはCIFAR-10およびImageNetで優れたキャリブレーションを示した。
• アンサンブルおよびハイパーアンサンブル手法は、複数のベンチマークで高い精度と耐性を示したが、推論遅延が増加した。
• 変分推論とラディアルBNNsは、表形式（UCI）および医療画像（Diabetic Retinopathy）タスクで競争力のある性能を示し、視覚分野を超えた適用可能性を裏付けた。
• ライブラリが提供する標準化されたトレーニングおよび評価プロトコルにより、手法間の直接比較が可能となり、適切にチューニングされた場合、MC-Dropoutのような単純な手法がより複雑な手法を上回ることが明らかになった。