[論文レビュー] Subspace Inference for Bayesian Deep Learning

Pavel Izmailov, Wesley J. Maddox+4 more|arXiv (Cornell University)|Jul 17, 2019

Gaussian Processes and Bayesian Inference参考文献 48被引用数 19

ひとこと要約

本稿では、高次元の重み空間の低次元部分空間に近似事後分布推論を制限することにより、ベイジアンディープラーニングを実現するSubspace Inference (SI) を提案する。SGDの軌跡の主成分や、独立して訓練されたモデル間の低損失曲線といった部分空間を活用することで、全パラメータ空間の手法と比較して著しく低い計算コストで、予測性能と不確実性のキャリブレーションの両面で最先端の結果を達成する。回帰および画像分類タスクにおいて、効率的かつ高精度なベイジアンモデル平均化を実現する。

ABSTRACT

Bayesian inference was once a gold standard for learning with neural networks, providing accurate full predictive distributions and well calibrated uncertainty. However, scaling Bayesian inference techniques to deep neural networks is challenging due to the high dimensionality of the parameter space. In this paper, we construct low-dimensional subspaces of parameter space, such as the first principal components of the stochastic gradient descent (SGD) trajectory, which contain diverse sets of high performing models. In these subspaces, we are able to apply elliptical slice sampling and variational inference, which struggle in the full parameter space. We show that Bayesian model averaging over the induced posterior in these subspaces produces accurate predictions and well calibrated predictive uncertainty for both regression and image classification.

研究の動機と目的

• ベイジアンディープラーニングにおける高次元パラメータ空間の課題に取り組み、スケーラブルで高精度な推論を可能にすること。
• ニューラルネットワーク重みの低次元部分空間において、効果的なベイジアンモデル平均化を可能にするモジュラーフレームワークの開発。
• 訓練データから離れた領域における予測不確実性推定の改善、特に従来手法が失敗しやすい領域での改善。
• 驚くべきことに、5次元程度の低次元部分空間でも、高品質なベイジアン平均化に十分な機能的多様性を捉えることができるという点の実証。
• 全パラメータ空間のベイジアン推論に対するスケーラブルでモジュラーフレームワークであり、解釈可能な代替手法の提供。

提案手法

• SGDの軌跡の主成分分析（PCA）や、独立して訓練されたモデル間の低損失曲線に沿った補間など、さまざまな手法を用いて重み空間の低次元部分空間を構築する。
• 全パラメータ空間では実行不可能なため、楕円型スライスサンプリング（ESS）や変分推論（VI）などの手法を、部分空間内で事後分布推論に用いる。
• 部分空間パラメータ上の近似事後分布からサンプリングすることで、多様で高精度なモデルの予測を組み合わせ、ベイジアンモデル平均を形成する。
• 部分空間構造を活用して、全重み空間では計算が非現実的である複雑な事後分布の効率的探索を可能にする。
• 既存のスケーラブルなベイジアンベースライン（例：SWAG）を参考にするが、情報量の多い部分空間に推論を集中させることで、それらを改善する。
• 回帰および分類タスクに本手法を適用し、VGG-16 から WideResNet-100 までのモデルを用いて、UCI データセットおよび CIFAR-10/100 での性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 重み空間の低次元部分空間は、ディープニューラルネットワークにおける効果的なベイジアンモデル平均化に十分な機能的多様性を捉えうるか？
• RQ2 部分空間の選択（ランダム、SGD軌跡のPCA、低損失曲線）が、予測精度および不確実性キャリブレーションに与える影響は何か？
• RQ3 大幅に次元数を削減しているにもかかわらず、部分空間推論は全パラメータ空間のベイジアン手法を、精度および不確実性推定の両面で上回ることができるか？
• RQ4 部分空間推論は、標準的なベイジアンディープラーニング手法と比較して、分布外領域における不確実性の増大をよりよく表現できるか？
• RQ5 部分空間推論は、異なるアーキテクチャや推論手法に柔軟に適応可能で、どの程度モジュラーや適応可能に設計できるか？

主な発見

• 2次元の曲線部分空間（2つの独立して訓練されたモデルを接続）を用いた部分空間推論は、3600万パラメータのWideResNetを用いてCIFAR-100で81.55％のテスト精度と0.6493のネガティブログリクライム（NLL）を達成した。
• PCA部分空間（10次元）は80.54％の精度と0.6652のNLLを達成し、ランダム部分空間（80.17％の精度、0.6858のNLL）を上回り、ベースラインより一貫した向上を示した。
• PCA部分空間における楕円型スライスサンプリング（ESS）は、SWAGが最初の主成分に分散を過大評価するのとは対照的に、事後分布の形状をより正確に捉えた。
• 部分空間における変分推論は、SWAGがSGDの軌跡を近似するのに対し、直接的に事後分布を近似するため、より良い適合を示した。
• 部分空間推論は、CIFAR-10およびCIFAR-100のベンチマークにおいて、MCドロップアウト、温度スケーリング、KFAC-Laplaceを常に上回った。
• 3600万パラメータのネットワークにおいて、CIFAR-100で5次元の部分空間でも、ベイジアンモデル平均化により顕著な性能向上が達成され、低次元部分空間の有効性を示した。