[論文レビュー] Sparse Uncertainty Representation in Deep Learning with Inducing Weights

Hippolyt Ritter, Martin Kukla+2 more|arXiv (Cornell University)|May 30, 2021

Gaussian Processes and Bayesian Inference参考文献 71被引用数 4

ひとこと要約

本稿では、不確実性評価を圧縮された空間に投影する低次元の補助パラメータ（インダクティング重み）を導入することで、メモリ効率の良いベイジアンニューラルネットワークおよびディープアンサンブルを実現する手法を提案する。マセロンの条件付きガウス分布サンプリング則を拡張することで、最大75.7%のパラメータ削減が達成され、標準ネットワークの24.3%以下にパラメータ数を削減しながら、予測精度および不確実性推定性能を競争力ある水準に維持する。ResNetsおよび全結合ネットワークにおいても強力な性能を発揮する。

ABSTRACT

Bayesian neural networks and deep ensembles represent two modern paradigms of uncertainty quantification in deep learning. Yet these approaches struggle to scale mainly due to memory inefficiency issues, since they require parameter storage several times higher than their deterministic counterparts. To address this, we augment the weight matrix of each layer with a small number of inducing weights, thereby projecting the uncertainty quantification into such low dimensional spaces. We further extend Matheron's conditional Gaussian sampling rule to enable fast weight sampling, which enables our inference method to maintain reasonable run-time as compared with ensembles. Importantly, our approach achieves competitive performance to the state-of-the-art in prediction and uncertainty estimation tasks with fully connected neural networks and ResNets, while reducing the parameter size to $\leq 24.3\%$ of that of a $single$ neural network.

研究の動機と目的

• ベイジアンニューラルネットワーク（BNN）およびディープアンサンブルの高メモリコストを解消すること。これらは決定的ネットワークと比較して顕著に多くのパラメータを必要とする。
• スパースガウス過程の手法（メモリ効率が良いことで知られる）を、インダクティング重みを用いて有限幅の深層ニューラルネットワークに拡張すること。
• 予測性能やキャリブレーションの劣化を伴わずに、効率的な事後分布サンプリングおよび不確実性評価を可能にすること。
• 特にリソース制約のあるデバイスへの実装に適した、完全なBNNやディープアンサンブルの代替となるパラメータ効率の良い手法を提供すること。
• 不確実性が重み空間の低次元部分空間に効果的に表現可能であり、予測性能や不確実性推定の品質に損なわれないことを示すこと。

提案手法

• パラメータ数を削減するため、重み行列全体からの不確実性を低次元の補助変数（インダクティング重み）に投影する。
• 全重みではなく、インダクティング重みに対する完全に因子分解されたガウス事後分布（FFG）を用いた変分推論を適用する。
• 事後分布からの効率的かつ高速な重みサンプリングを可能にするために、マセロンの条件付きガウス分布サンプリング則を拡張する。
• 各層ごとに小さなインダクティング重み行列を用いることで、不確実性を低次元空間に投影するパrameterizationを採用する。
• ベイジアンニューラルネットワークおよびディープアンサンブルの両方のフレームワークに適用し、低メモリフットプリントで不確実性評価を可能にする。
• 最小限のコード変更で決定的モデルをベイジアンモデルに変換できる、PyTorchラッパー「bayesianize」を採用する。

実験結果

リサーチクエスチョン

• RQ1 深層学習におけるスパースな不確実性表現は、完全なベイジアンニューラルネットワークと同等の性能を達成しつつ、顕著にパラメータ数を削減できるか？
• RQ2 インダクティング重みは、ディープアンサンブルと同等の効率的かつスケーラブルな事後分布サンプリングを可能にするか？
• RQ3 不確実性は重み空間の低次元部分空間にどの程度正確に表現可能か？
• RQ4 本手法は、キャリブレーション、精度、分布シフト下でのロバストネスという観点から、標準的なBNNやディープアンサンブルと比較してどのように差をつけるか？
• RQ5 本手法は、ResNetsなどの現代的アーキテクチャに効果的に適用可能であり、性能劣化を伴わずにパラメータ効率を達成できるか？

主な発見

• 提案手法により、標準的な決定的ネットワークの24.3%以下のパラメータ数に削減されつつ、画像分類タスクで競争力ある性能を維持する。
• CIFAR-100では、インダクティング重みを100%使用した場合、11.28%のテスト誤差を達成し、完全なBNNやディープアンサンブルと同等の性能を示す。
• 分布外検出タスクでは、CIFAR-100で90.4%、SVHNで91.2%のAUCスコアを達成し、ベースライン手法と同等またはそれを上回る。
• 汚染済みCIFAR-100では、25%の重み使用率でも58.11%の高い精度を維持し、100%使用時ではECEが4.64%にとどまり、ロバストネスを示す。
• 拡張されたマセロンのルールにより、高速な推論が可能となり、標準アンサンブルと比較して妥当な実行時間に抑える。
• 本手法はBNNおよびディープアンサンブルの両方へ一般化可能であり、不確実性評価のパラダイムに広く適用可能であることが示された。