[論文レビュー] Single Model Uncertainty Estimation via Stochastic Data Centering

Jayaraman J. Thiagarajan, Rushil Anirudh+2 more|arXiv (Cornell University)|Jul 14, 2022

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

本稿では、ランダムな定数バイアスシフトによる確率的データセンタリングを活用して多様な予測を生成する単一モデルの不確実性推定手法Delta-UQを提案する。これにより、エピステミック不確実性の正確な定量化が可能になる。学習可能なアンカーベクトルを用いて入力を拡張した1つのネットワークを訓練することで、Deep Ensemblesと同等の性能を達成しながら、計算効率が高く、外れ値検出、分布シフトへのロバストネス、ベイズ最適化の分野でも有効である。

ABSTRACT

We are interested in estimating the uncertainties of deep neural networks, which play an important role in many scientific and engineering problems. In this paper, we present a striking new finding that an ensemble of neural networks with the same weight initialization, trained on datasets that are shifted by a constant bias gives rise to slightly inconsistent trained models, where the differences in predictions are a strong indicator of epistemic uncertainties. Using the neural tangent kernel (NTK), we demonstrate that this phenomena occurs in part because the NTK is not shift-invariant. Since this is achieved via a trivial input transformation, we show that this behavior can therefore be approximated by training a single neural network -- using a technique that we call $Δ-$UQ -- that estimates uncertainty around prediction by marginalizing out the effect of the biases during inference. We show that $Δ-$UQ's uncertainty estimates are superior to many of the current methods on a variety of benchmarks -- outlier rejection, calibration under distribution shift, and sequential design optimization of black box functions. Code for $Δ-$UQ can be accessed at https://github.com/LLNL/DeltaUQ

研究の動機と目的

• Deep Ensemblesと同等の性能を達成しつつ、計算効率の高い単一モデル不確実性推定手法の開発。
• 定数バイアスによるランダムなデータシフトが、エピステミック不確実性推定に十分なモデル多様性を生じるかの検証。
• アンカーベースのデータ変換から得られる不確実性が、最小限のアーキテクチャ変更で1つのニューラルネットワークによって近似可能であることを示すこと。
• 分布シフト、外れ値検出、逐次ブラックボックス最適化といった実世界のシナリオにおける手法のロバストネスの検証。

提案手法

• 本手法は、入力データに学習可能なアンカーベクトル $[\mathbf{c}, \mathbf{x} - \mathbf{c}]$ を追加したデータで1つの深層ニューラルネットワークを訓練する。ここで $\mathbf{c}$ は学習可能なバイアスベクトルである。
• 推論時、異なるアンカーベクトル $\mathbf{c}$ をサンプリングすることで複数の予測を生成し、それらの予測の標準偏差として不確実性を推定する。
• ニューラルトランジット・カーネル（NTK）のシフト不変性の欠如に根拠を置き、同一の重み初期化下でも異なるバイアスシフトが異なるモデル解をもたらすことを裏付けている。
• 完全なアンサンブル学習を避けるために、アンカーバリエーションの周辺化を実行し、1つのモデルでアンサンブルの多様性を効果的に近似する。
• 学習目的は変更せず、入力表現にアンカーを追加するのみで、既存モデルへのプラグアンドプレイ統合が可能である。
• 不確実性推定は、推論時における $K$ 個のサンプリングされたアンカーについて $\sigma = \text{std}(f(\mathbf{x}; \mathbf{\theta}, \mathbf{c}_1), \dots, f(\mathbf{x}; \mathbf{\theta}, \mathbf{c}_K))$ として計算される。

実験結果

リサーチクエスチョン

• RQ1 入力データに対するランダムな定数バイアスシフトが、単一の深層ニューラルネットワークにおけるエピステミック不確実性推定に十分なモデル多様性を生じるか？
• RQ2 ニューラルトランジット・カーネル（NTK）のシフト不変性の欠如が、データセンタリング下での予測分散の出現を説明できるか？
• RQ3 アンカーアウグメンテッド入力で学習した単一モデルが、Deep Ensemblesの不確実性性能を近似できるか？
• RQ4 分布シフト下でのキャリブレーションとロバストネスという観点から、提案手法Delta-UQは、既存の不確実性推定ベースラインを上回るか？
• RQ5 Delta-UQは、データが限られた逐次ブラックボックス最適化タスクにおいて性能を向上させられるか？

主な発見

• Delta-UQは、ベンチマーク関数における逐次最適化タスクのAUC（受信器操作特性曲線下の面積）において、Deep Ensembles、モンテカルロドロップアウト、ベイジアンニューラルネットワーク、ガウス過程を常に上回った。
• 高次元問題（例：8次元）においてもDelta-UQは強力な性能を維持したが、MCDとDEnsは著しく性能を落とした。これにより、スケーラビリティの優位性が示された。
• MNISTにおけるGANベースの最適化では、同じサンプリング予算下で、Delta-UQがすべてのベースラインを上回る高い関数値（画像の厚さ）を達成した。
• ImageNetおよびCIFAR-10の破損バージョンにおいて、Delta-UQは既存手法と比較して、分布シフト下でも優れたキャリブレーションを示した。
• 最小限の学習オーバーヘッドで、ImageNetおよびCIFAR-10でも競争力ある精度を達成し、意味のある不確実性推定を提供した。
• アブレーションスタディにより、不確実性はモデル重みのランダムネスではなく、アンカーベースのデータ変換に起因することが確認され、コアメカニズムの妥当性が裏付けられた。