[論文レビュー] Handling the Positive-Definite Constraint in the Bayesian Learning Rule

Lin Wu, Mark Schmidt+1 more|arXiv (Cornell University)|Feb 24, 2020

Gaussian Processes and Bayesian Inference参考文献 35被引用数 4

ひとこと要約

本論文は、変分推論における共分散行列の正定値制約を自然に満たすために、リーマン的勾配に基づく変更を提案する。ブロック座標自然パrameterizationを活用することで、ラインサーチを用いずに制約が満たされるようになり、ガウス分布および混合ガウス近似において収束が速くなり、安定性が向上する。計算コストの増加は最小限に抑えられる。

ABSTRACT

The Bayesian learning rule is a natural-gradient variational inference method, which not only contains many existing learning algorithms as special cases but also enables the design of new algorithms. Unfortunately, when variational parameters lie in an open constraint set, the rule may not satisfy the constraint and requires line-searches which could slow down the algorithm. In this work, we address this issue for positive-definite constraints by proposing an improved rule that naturally handles the constraints. Our modification is obtained by using Riemannian gradient methods, and is valid when the approximation attains a \emph{block-coordinate natural parameterization} (e.g., Gaussian distributions and their mixtures). We propose a principled way to derive Riemannian gradients and retractions from scratch. Our method outperforms existing methods without any significant increase in computation. Our work makes it easier to apply the rule in the presence of positive-definite constraints in parameter spaces.

研究の動機と目的

• 最適化の過程で共分散行列の正定値制約が破られる問題に対処すること。
• 制約付きパrameter空間における収束を遅くするバックトラッキングラインサーチの必要性を排除すること。
• 制約付き変分推論におけるリーマン的勾配と再帰写像を、第一原理から体系的に導出するための整合的な手法を開発すること。
• 更新されたパラメータが正定値多様体内に留まるように保ちつつ、計算効率を維持すること。
• 深層学習や確率的グラフィカルモデルにおける高次元モデルに、共分散制約を伴うベイジアン学習ルールを強力に適用できること。

提案手法

• 正定値行列の多様体上でのリーマン的勾配降下法を用いて、ベイジアン学習ルールを再定式化する。
• リーマン幾何学を組み込むことで、正定値制約を自然に保持するように変更された更新ルールを導入する。
• フィッシャー情報行列がブロック対角構造を持つブロック座標自然（BCN）パラメータ化から導出される。
• 投影やラインサーチを用いずに、更新が多様体上に留まるように、リーマン的勾配と再帰写像を再び計算する。
• ガウス分布および混合ガウス近似において、元のルールと比較してわずかで一定の追加コストしか必要としない。
• 深層学習およびベイジアンロジスティック回帰において実証され、数値的安定性が向上し、収束が速くなった。

実験結果

リサーチクエスチョン

• RQ1 ラインサーチに依存せずに、共分散行列の正定値制約を自然に満たすようにベイジアン学習ルールを変更できるか？
• RQ2 リーマン幾何学を体系的に応用して、変分推論における制約付き更新を導出する方法は何か？
• RQ3 提案手法は、高次元設定において収束性と安定性を向上させつつ、計算効率を維持できるか？
• RQ4 完全共分散近似を伴うベイジアンニューラルネットワークのような複雑なモデルに、この手法を適用できるか？
• RQ5 ステップサイズ選択およびメモリ使用量の観点から、リーマン的更新は既存の制約付き最適化手法と比べてどう異なるか？

主な発見

• 提案手法は、合成的および実世界のベイジアン推論タスクにおいて、元のベイジアン学習ルールおよびベースライン手法よりも収束が速い。
• 非制約付き変換手法と比較して、より大きなステップサイズを許容でき、最適化の安定性が向上し、イテレーションコストが低減する。
• メモリ制約のある環境では、Salimbeniら（2018）の変換ベース手法よりも少ないメモリを要する。
• 標準勾配を事前に計算済みの場合、提案手法の1イテレーションあたりの計算コストは、ベースライン手法の少なくとも6〜10倍速い。
• 深層学習におけるVOGNアルゴリズムの実装上の問題を解決し、正定値共分散更新を保証した。
• 高次元空間（例：300次元）においても、混合ガウス分布や重い尾を持つ分布のような複雑な事後分布を高い精度で近似できる。