[論文レビュー] The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks

Jakub Świątkowski, Kevin A. Roth+8 more|arXiv (Cornell University)|Feb 7, 2020

Gaussian Processes and Bayesian Inference参考文献 51被引用数 22

ひとこと要約

本論文では、事後分布の標準偏差行列に低ランク構造を課すことにより、ベイジアンニューラルネットワークにおけるガウス型平均場変分後退のコンactなパrameterizationであるk-tied正規分布を提案する。低ランクSVDによるパラメータの縛りを用いることで、変分パラメータの数を削減し、勾配の信号対ノイズ比を向上させ、予測性能に損なわれることなく、複数のモデルで訓練を高速化する。

ABSTRACT

Variational Bayesian Inference is a popular methodology for approximating posterior distributions over Bayesian neural network weights. Recent work developing this class of methods has explored ever richer parameterizations of the approximate posterior in the hope of improving performance. In contrast, here we share a curious experimental finding that suggests instead restricting the variational distribution to a more compact parameterization. For a variety of deep Bayesian neural networks trained using Gaussian mean-field variational inference, we find that the posterior standard deviations consistently exhibit strong low-rank structure after convergence. This means that by decomposing these variational parameters into a low-rank factorization, we can make our variational approximation more compact without decreasing the models' performance. Furthermore, we find that such factorized parameterizations improve the signal-to-noise ratio of stochastic gradient estimates of the variational lower bound, resulting in faster convergence.

研究の動機と目的

• シンプルでコンパクトな変分後退のパラメータ化が、ベイジアンニューラルネットワークにおいてより豊かなパラメータ化を上回る可能性があるかを調査すること。
• 標準的なガウス型平均場変分推論における高いパラメータ数とノイズの多い勾配の問題に対処すること。
• 事後分布の標準偏差に低ランク構造があることで、パラメータの縛りが性能の損なわれない形で有効に機能するかを検討すること。
• メモリと計算量を削減しながらも、予測精度と収束速度を維持するパラメータ化を開発すること。

提案手法

• k-tied正規分布は、後退標準偏差行列を低ランクSVD分解によってパラメータ化し、自由パラメータの数を削減する。
• kが元の次元よりもはるかに小さい場合に、重み間で同一の構造を課すために、標準偏差行列のランク-k因数分解を適用する。
• この手法は、平均場変分推論における対角共分散行列に適用され、独立性仮定を保ちつつもパラメータ数を削減する。
• 変分パラメータは、ELBOの微分可能近似を用いた確率的勾配降下法で最適化され、パラメータ縛りにより勾配の分散が低減される。
• このアプローチは、全結合層および畳み込み層の両方と互換性があり、既存の分散低減技術とも組み合わせ可能である。
• この手法は行列変量正規分布とは異なり、ランク>1の縛りをサポートできるため、その枠組みでは表現できない、より表現力の高いパラメータ化クラスを確立する。

実験結果

リサーチクエスチョン

• RQ1 事後分布の標準偏差行列の低ランクパラメータ化が、ベイジアンニューラルネットワークにおけるモデル性能を維持または向上させることができるか。
• RQ2 パラメータ縛りによる変分パラメータ数の削減が、ELBO勾配推定の信号対ノイズ比を向上させるか。
• RQ3 学習済みの事後分布の標準偏差行列における低ランク構造が、多様なベイジアンニューラルネットワークアーキテクチャにわたって一貫した現象であるか。
• RQ4 コンパクトなパラメータ化が、訓練速度と一般化性能の面で、標準的な平均場変分推論を上回ることができるか。
• RQ5 k-tied正規分布は、既存の訓練技術と互換性があり、より深いモデルへスケーリング可能か。

主な発見

• 学習済みのベイジアンニューラルネットワークにおける事後分布の標準偏差行列は、一貫して強い低ランク構造を示し、効果的なパラメータ縛りが可能である。
• k-tied正規分布は、変分パラメータ数を顕著に削減しながらも、ELBOおよび予測性能を維持または向上させる。
• 低ランクSVDによるパラメータ縛りは、確率的勾配推定の信号対ノイズ比を向上させ、訓練中の収束を高速化する。
• この手法は、複数のモデルタイプにおいて、標準的な平均場変分推論よりも訓練効率と一般化性能に優れる。
• ランク>1の場合、k-tiedアプローチは行列変量正規分布の枠組みでは表現できないため、独立でより表現力の高いパラメータ化クラスを確立する。
• この手法は、既存の分散低減技術と互換性があり、それらと組み合わせることでさらに訓練の安定性を向上させることができる。