[論文レビュー] Bayesian Sparsity for Intractable Distributions

John Ingraham, Debora S. Marks|arXiv (Cornell University)|Feb 11, 2016

Gaussian Processes and Bayesian Inference参考文献 43被引用数 7

ひとこと要約

本稿では、不正確な分布を伴う階層ベイジアンモデルにおける事後分布近似を改善するため、非中心化パrameterizationを用いた変分推論手法であるFadeoutを提案する。確率的変分推論を有向モデルへ拡張し、非中心化事前分布を活用することで、スパースおよびグループスパース推論における精度が向上する。特に、正規化定数が不正確なモデルにおいて顕著な効果を示す。

ABSTRACT

Bayesian approaches for single-variable and group-structured sparsity outperform L1 regularization, but are challenging to apply to large, potentially intractable models. Here we show how noncentered parameterizations, a common trick for improving the efficiency of exact inference in hierarchical models, can similarly improve the accuracy of variational approximations. We develop this with two contributions: First, we introduce Fadeout, an approach for variational inference that uses noncentered parameterizations to capture a posteriori correlations between parameters and hyperparameters. Second, we extend stochastic variational inference to undirected models, enabling efficient hierarchical Bayes without approximations of intractable normalizing constants. We find that this framework substantially improves inferences of undirected graphical models under both sparse and group-sparse priors.

研究の動機と目的

• 正確な推論が計算的に非現実的である大規模で不正確なモデルにベイジアンスパースメソッドを適用する課題に対処すること。
• パラメータとハイパーパrameter間の事後相関を捉えることで、階層モデルにおける変分推論の精度を向上させること。
• 不正確な正規化定数の近似を避けることにより、確率的変分推論を有向グラフィカルモデルへ拡張すること。
• 複雑で不正確な尤度関数を伴うモデルにおける、グループ構造および単一変数スパース性のスケーラブルなフレームワークを構築すること。
• 非中心化パrameterizationがスパースベイジアンモデルにおける変分推論性能を向上させることを示すこと。

提案手法

• パラメータとハイパーパrameter間の階層的依存関係に非中心化パrameterizationを適用する変分推論フレームワークであるFadeoutを提案する。
• 非中心化パrameterizationを用いることで、潜在変数とハイパーパrameter間の相関をよりよく捉えることにより、事後分布近似を改善する。
• 再パラメータ化技術を用いて不正確な正規化定数の近似を避けることで、確率的変分推論を有向モデルへ拡張する。
• 結合事後分布の再パラメータ化形式を採用することで、不正確な尤度関数を伴うモデルにおける勾配ベース最適化を効率的に行える。
• スパースおよびグループスパース事前分布に本手法を適用し、高次元で複雑なモデルにおける高精度な推論を可能にする。
• 階層モデルの構造を活用することで、計算複雑度を著しく増加させることなく、変分近似の品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非中心化パrameterizationは、不正確な事後分布を伴う階層ベイジアンモデルにおける変分推論の精度を向上させることができるか？
• RQ2 不正確な正規化定数の近似を避けることにより、確率的変分推論を有向グラフィカルモデルへどのように拡張できるか？
• RQ3 Fadeoutは、スパースおよびグループスパース推論タスクにおいて、標準的なL1正則化や中心化パrameterizationをどの程度上回るか？
• RQ4 高次元モデルにおいて、非中心化パrameterizationはパラメータとハイパーパrameter間の事後相関をどの程度正確に捉えることができるか？
• RQ5 非中心化パrameterizationは、不正確なモデルにおける変分推論の収束性および安定性にどのような影響を与えるか？

主な発見

• 非中心化パrameterizationによりパラメータとハイパーパrameter間の事後相関を捉えることで、Fadeoutは変分推論の精度を顕著に向上させる。
• 不正確な正規化定数の近似を避けることで、有向グラフィカルモデルにおけるスケーラブルな階層ベイジアン推論を実現する。
• スパースおよびグループスパース設定において、標準的な中心化アプローチに比べ、非中心化パrameterizationがより正確な事後分布近似をもたらす。
• 単一変数およびグループ構造スパース性の両状況において、L1正則化に比べて本フレームワークは優れた性能を示す。
• 計算効率を維持しつつ、複雑なモデルにおいてより良い事後分布カバレッジと低い近似誤差を達成する。
• 実験結果から、本手法は特に高次元および構造的スパース性問題において、不正確な分布を効果的に処理できることを示している。