[論文レビュー] Walsh-Hadamard Variational Inference for Bayesian Deep Learning

Simone Rossi, Sébastien Marmin+1 more|arXiv (Cornell University)|May 27, 2019

Gaussian Processes and Bayesian Inference参考文献 63被引用数 4

ひとこと要約

本稿では、ウォルシュ＝ハダマード変換を活用してベイジアンディープニューラルネットワークにおける重み行列の因子分解を行う、ウォルシュ＝ハダマード変分推論（whvi）を提案する。これにより、パrameterizationをO(D²)からO(D)に、計算コストをO(D²)からO(D log D)に削減する。このアプローチにより、高次元パrameter空間に起因するKLダイバージェンス項の支配的影響による過剰正則化を軽減し、行列分散後退近似の複雑さを著しく低減することで、複数のベンチマークデータセットで最先端の性能を達成し、著しい高速化を実現する。

ABSTRACT

Over-parameterized models, such as DeepNets and ConvNets, form a class of models that are routinely adopted in a wide variety of applications, and for which Bayesian inference is desirable but extremely challenging. Variational inference offers the tools to tackle this challenge in a scalable way and with some degree of flexibility on the approximation, but for over-parameterized models this is challenging due to the over-regularization property of the variational objective. Inspired by the literature on kernel methods, and in particular on structured approximations of distributions of random matrices, this paper proposes Walsh-Hadamard Variational Inference (WHVI), which uses Walsh-Hadamard-based factorization strategies to reduce the parameterization and accelerate computations, thus avoiding over-regularization issues with the variational objective. Extensive theoretical and empirical analyses demonstrate that WHVI yields considerable speedups and model reductions compared to other techniques to carry out approximate inference for over-parameterized models, and ultimately show how advances in kernel methods can be translated into advances in approximate Bayesian inference.

研究の動機と目的

• 過パラメータ化されたモデル、たとえばベイジアンDNNやCNNにおける変分推論の過剰正則化問題に対処すること。これは、高次元パラメータ空間に起因し、KLダイバージェンス項が目的関数を支配するためである。
• 深層学習における変分後退近似の計算およびパラメータ複雑さを低減しつつ、モデルの柔軟性を維持または向上させること。
• 特にカーネル法にインspiredされた構造的行列因子分解——具体的にはウォルシュ＝ハダマード変換——を活用し、深層モデルにおけるスケーラブルかつ効率的なベイジアン推論を可能にすること。
• 対数線形複雑さを持つ行列分散後退近似が、標準的な平均場近似や他の因子分解手法を上回る性能と速度を達成できることを示すこと。

提案手法

• D×Dの重み行列に対してウォルシュ＝ハダマード変換を用いた構造的因子分解を採用し、変分パラメータ数をO(D²)からO(D)に削減する。
• 逆ウォルシュ＝ハダマード変換に基づく再パラメータ化トリックを導入し、変分後退から微分可能なサンプリングを可能にする。
• 勾配の分散を低減するためのローカル再パラメータ化トリックを導出し、1層あたりO(D log D)の計算複雑さで効率的な確率的最適化を実現する。
• ウォルシュ＝ハダマード変換によって低ランク構造を誘導する行列分散ガウス分布として後退をモデル化し、複雑さを増さずに柔軟性を高める。
• ランダム行列理論およびFastfoodや直交ランダム特徴量といったカーネル法分野の先行研究を援用し、それらを深層学習における変分推論に適応する。
• 本手法をベイジアンDNNおよびCNNに適用し、複数の分類ベンチマークで実験的検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 ウォルシュ＝ハダマード変換に基づく構造的行列因子分解は、過パラメータ化された深層モデルにおける変分推論のパラメータ化および計算コストを低減できるか？
• RQ2 提案されたwhvi手法は、変分目的関数におけるKLダイバージェンス項に起因する過剰正則化問題を緩和できるか？
• RQ3 精度、不確実性のキャリブレーション、トレーニング速度の観点から、whviの性能は平均場変分推論や他の行列因子分解手法と比べてどうか？
• RQ4 対数線形複雑さを持つ行列分散後退近似は、ベイジアンディープラーニングにおける標準的な平均場近似を上回る性能を達成できるか？

主な発見

• 6つの分類データセットにおいて、whviは最先端のテスト誤差率を達成し、256個の隠れユニットを用いたdriveデータセットでは誤差率が0.01±0.00にまで低下した。
• eegデータセットでは、512個の隠れユニットを用いてテスト誤差率0.17±0.01を達成し、モンテカルロドロップアウトや標準的な平均場VIを含むすべてのベースラインを上回った。
• magicデータセットでは、全モデルサイズでテスト誤差率0.13±0.01を達成し、精度および不確実性キャリブレーション（MNLL）の両面で他の手法を同等または上回った。
• パラメータ数をO(D²)からO(D)に、計算複雑さをO(D²)からO(D log D)に削減し、トレーニングおよび推論における顕著な高速化を実現した。
• 負の対数尤度（NLL）の観点でも、whviは複数のデータセットで最低値を記録した。たとえば、512ユニットを用いたminibooデータセットでは0.31±0.01を達成し、優れた不確実性推定を示した。
• アブレーションスタディにより、同程度の複雑さを持つ他の低ランク因子分解戦略よりもwhviが優れていることが確認され、ウォルシュ＝ハダマード構造の有効性が裏付けられた。