[論文レビュー] Variational Bayesian Last Layers

J. Harrison, John Willes+1 more|arXiv (Cornell University)|Apr 17, 2024

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本論文は Variational Bayesian Last Layers (VBLL) を導入します。ベイジアン最後層ニューラルネットワークを訓練する決定論的でサンプリング不要なアプローチで、ほぼ一定の追加コストで不確実性推定を向上させ、標準的なアーキテクチャとともに使用できます。

ABSTRACT

We introduce a deterministic variational formulation for training Bayesian last layer neural networks. This yields a sampling-free, single-pass model and loss that effectively improves uncertainty estimation. Our variational Bayesian last layer (VBLL) can be trained and evaluated with only quadratic complexity in last layer width, and is thus (nearly) computationally free to add to standard architectures. We experimentally investigate VBLLs, and show that they improve predictive accuracy, calibration, and out of distribution detection over baselines across both regression and classification. Finally, we investigate combining VBLL layers with variational Bayesian feature learning, yielding a lower variance collapsed variational inference method for Bayesian neural networks.

研究の動機と目的

• 深層学習における適切にキャリブレーションされた不確実性の必要性を動機づけ、ベイズ法の計算的障壁に対処する。
• 効率的な訓練と予測を可能にするため、ベイジアン最後層モデルの決定論的変分フレームワークを提案する。
• VBLLがタスク全体で予測精度、尤度、キャリブレーション、および分布外検出を改善することを示す。
• 実用的な PyTorch ベースの VBLL 実装を提供し、MAP と変分特徴学習の両方との互換性を示す。

提案手法

• 最後層ベイジアンモデルの周辺尤度に対するサンプリング不要の下限を生み出す変分目的を開発する。
• 回帰、識別分類、生成分類の最後層モデルについて、閉形式解または効率的に計算できる訓練目的を導出する。
• 表現力と計算可能性のバランスを取るため、構造化共分散を持つ最後層重みのガウス変分後方分布を仮定する。
• VBLL の訓練計算量が標準訓練と同様にスケールすることを示し、大規模なアーキテクチャにとって実用的である。
• 予測を変分後方分布の期待として提示し、不確実性推定を得る。
• 任意で VBLL を変分特徴学習と組み合わせて崩壊型変分推論の設定を作る。

実験結果

リサーチクエスチョン

• RQ1 変分的な最後層アプローチは最小限の計算オーバーヘッドで正確な不確実性推定を提供できるか？
• RQ2 回帰と分類タスク全体で、VBLLは予測性能、キャリブレーション、分布外検出にどう影響するか？
• RQ3 VBLL フレームワーク内で識別的な最後層モデルと生成的な最後層モデルの比較上の利点は何か？
• RQ4 VBLL と変分特徴学習を組み合わせると、後方分布の分散を減らし頑健性を高めるか？

主な発見

• VBLLは回帰と分類のベンチマーク全体で予測精度、尤度、キャリブレーション、および分布外検出を改善する。
• 画像分類では、VBLL の variante はベースラインと比較して精度とキャリブレーションで競争力があるか、または優れている。
• 識別的 VBLL は特に OOD 設定で強力な性能と頑健性を示し、精度と不確実性の間で有利なトレードオフを持つ。
• 生成的 VBLL は合理的な埋め込み密度を提供し、OOD 感度も良好だが、タスクと設定により性能は異なる。
• VBLL と変分特徴学習を組み合わせると、低分散で崩壊的な変分推論アプローチとなる。