[論文レビュー] Efficient and Scalable Bayesian Neural Nets with Rank-1 Factors

Michael W. Dusenberry, Ghassen Jerfel+6 more|arXiv (Cornell University)|May 14, 2020

Adversarial Robustness in Machine Learning参考文献 46被引用数 33

ひとこと要約

本論文は、rank-1 Bayesian neural nets と mixture posteriors を導入し、最先端の不確実性定量化とスケーラビリティを実現する。ImageNet、CIFAR、および MIMIC-III においてベースラインを上回り、アンサンブルよりはるかに少ないパラメータで動作する。

ABSTRACT

Bayesian neural networks (BNNs) demonstrate promising success in improving the robustness and uncertainty quantification of modern deep learning. However, they generally struggle with underfitting at scale and parameter efficiency. On the other hand, deep ensembles have emerged as alternatives for uncertainty quantification that, while outperforming BNNs on certain problems, also suffer from efficiency issues. It remains unclear how to combine the strengths of these two approaches and remediate their common issues. To tackle this challenge, we propose a rank-1 parameterization of BNNs, where each weight matrix involves only a distribution on a rank-1 subspace. We also revisit the use of mixture approximate posteriors to capture multiple modes, where unlike typical mixtures, this approach admits a significantly smaller memory increase (e.g., only a 0.4% increase for a ResNet-50 mixture of size 10). We perform a systematic empirical study on the choices of prior, variational posterior, and methods to improve training. For ResNet-50 on ImageNet, Wide ResNet 28-10 on CIFAR-10/100, and an RNN on MIMIC-III, rank-1 BNNs achieve state-of-the-art performance across log-likelihood, accuracy, and calibration on the test sets and out-of-distribution variants.

研究の動機と目的

• 大規模な Bayesian neural networks におけるアンダーフィットと非効率性に対処する。
• パラメータ効率の高いアプローチで強力な不確実性定量化を達成する。
• ランク-1サブスペースパラメータ化を活用して、スケーラブルな Bayesian inference を実現する。
• 最小限のメモリオーバーヘッドで複数のモードを捉えるために mixture posteriors を調査する。

提案手法

• すべてのウェイトマトリクス W を W' = W ∘ (r s^T) とパラメータ化する。ここで r および s は低次元ベクトル（rank-1 因子分解）です。
• W を決定性とみなして（rank-1 Bayesian perturbations）、r と s に対して変分推論を行う。
• r と s に階層的 priors を置いて、構造化された重み priors を誘発し、スパース性と頑健性を可能にする（例：Gaussian, Cauchy, inverse-Gamma）。
• rank-1 factors に対する mixture posteriors を使用して、少ないメモリオーバーヘッドで複数のモードを捉える（実験では mixture size K=4 など）。
• log-mixture に基づく訓練と average-log-likelihood 訓練を比較し、訓練ダイナミクスと分布シフト下での一般化を分析する。

実験結果

リサーチクエスチョン

• RQ1 rank-1 weight perturbation と variational inference の組み合わせは、大規模な環境で競争力のある精度と不確実性の較正を提供できるか？
• RQ2 rank-1 factors に対する階層的 priors は頑健性と out-of-distribution 性能を改善するか？
• RQ3 混合成分数と後方分布の形状が性能とパラメータ効率に与える影響はどの程度か？
• RQ4 多様性、NLL、較正の観点から、rank-1 Bayesian inference は deep ensembles や BatchEnsemble とどのように比較されるか？
• RQ5 rank-1 Bayesian nets において、log-mixture likelihood bound は訓練または評価に有利か？

主な発見

• multimodal posteriors を持つ Rank-1 BNNs は、NLL、精度、および較正において ImageNet、CIFAR、MIMIC-III のベンチマーク全体で最先端の性能を達成する。
• rank-1 factors に対する mixture posteriors は、最小限のメモリオーバーヘッドで著しいゲインを提供する（例：ResNet-50 の場合 K=10 でパラメータ増加 0.4%）。
• rank-1 factors への Cauchy prior は、Gaussian priors と比較して、特に分布シフト下での一般化と不確実性の較正を改善する。
• Rank-1 BNNs は BatchEnsemble を上回り、競争力のある deep ensembles を上回るが、はるかに少ないパラメータを使用し、同等かそれより高い精度でより高いエンサンブル多様性を示す。
• 理論的結果は、rank-1 摂動 が fully connected nets における全ランク摂動の局所分散構造に一致できることを示し、アプローチの表現力を支持する。