[論文レビュー] Diversity-Promoting Bayesian Learning of Latent Variable Models

Pengtao Xie, Jun Zhu+1 more|arXiv (Cornell University)|Nov 23, 2017

Bayesian Methods and Mixture Models参考文献 36被引用数 8

ひとこと要約

本稿では、潜在変数モデル（LVMs）における多様性を促進するベイジアン学習を提案し、相互角の事前分布を導入することで、成分ベクトルの直交性を促進し、希少なパターンの捉え込みを向上させるとともにモデルの複雑さを低減する。この手法は変分推論とMCMCを用いて事後分布を効率的に近似し、実世界のデータセットにおいてベースラインモデルを上回る多様性のモデリングと一般化性能を達成する。

ABSTRACT

To address three important issues involved in latent variable models (LVMs), including capturing infrequent patterns, achieving small-sized but expressive models and alleviating overfitting, several studies have been devoted to "diversifying" LVMs, which aim at encouraging the components in LVMs to be diverse. Most existing studies fall into a frequentist-style regularization framework, where the components are learned via point estimation. In this paper, we investigate how to "diversify" LVMs in the paradigm of Bayesian learning. We propose two approaches that have complementary advantages. One is to define a diversity-promoting mutual angular prior which assigns larger density to components with larger mutual angles and use this prior to affect the posterior via Bayes' rule. We develop two efficient approximate posterior inference algorithms based on variational inference and MCMC sampling. The other approach is to impose diversity-promoting regularization directly over the post-data distribution of components. We also extend our approach to "diversify" Bayesian nonparametric models where the number of components is infinite. A sampling algorithm based on slice sampling and Hamiltonian Monte Carlo is developed. We apply these methods to "diversify" Bayesian mixture of experts model and infinite latent feature model. Experiments on various datasets demonstrate the effectiveness and efficiency of our methods.

研究の動機と目的

• 尤度ベースの最適化が頻度の高いパターンに偏るため、既存のLVMが希少なパターンを捉えるのを制限しているという問題を解決すること。
• 冗長性を低減し、表現力に損なわれることなくモデルサイズを縮小すること。
• 不確実性の定量化とモデル平均化を採用することで、LVMにおける過学習を軽減すること。
• 変分推論とMCMCを両立できる多様性促進型のベイジアンフレームワークを構築し、従来のDPPに基づく手法の限界を克服すること。
• スライスサンプリングとHMCを組み合わせることで、無限個の成分をもつベイジアン非パラメトリックモデルへの多様性促進学習を拡張すること。

提案手法

• 相互角の事前分布を提案し、ペアワイズの角度が大きい成分ベクトルに高い密度を割り当てることで、ベイジアン事前分布の指定によって多様性を促進する。
• 構造的変分族を用いた変分推論を採用し、相互角の事前分布下での事後分布を近似することで、効率的な最適化を実現する。
• メトロポリス・ハスティングスに基づくMCMCサンプラを構築し、変分法よりもより正確な事後分布近似を提供する。
• 多様性正則化を事後分布の成分に直接適用し、目的関数に角距離を正則化項として組み込む。
• スライスサンプリングとハミルトニアンモンテカルロ（HMC）を組み合わせることで、無限個の成分集合を扱えるように、非パラメトリックモデルへフレームワークを拡張する。
• 成分および混合パラメータにそれぞれvon-Mises-Fisher分布とガンマ分布を適用し、ベイジアン混合エキスパートおよび無限の潜在特徴モデルにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 点推定に依存せずに、LVMの成分における多様性を効果的に促進できるベイジアンフレームワークは存在するか？
• RQ2 標準的な事前分布と比較して、相互角の事前分布は希少パターンのモデリングをどのように改善するか？
• RQ3 変分推論とMCMCを組み合わせることで、多様性促進型のベイジアンLVMにおける効率性と正確性のバランスをどのように達成できるか？
• RQ4 多様性促進は、表現力の維持または向上を伴いながら、どの程度モデルサイズを縮小できるか？
• RQ5 提案手法は、無限個の成分をもつ非パラメトリックLVMへ拡張可能か？

主な発見

• 相互角の事前分布により、ドキュメントデータセットにおける低頻度トピックの再現率が著しく向上し、希少パターンの検出性能が向上した。
• 提案された多様性促進型事前分布を備えたモデルは、より優れた一般化性能を示し、テスト尤度の分散が低く抑えられ、過学習が軽減された。
• 変分推論アルゴリズムはMCMCよりも高速に収束し、大規模応用に適した性能を維持している。
• MCMCベースの推論は、特に高次元の成分空間において、より正確な事後分布推定を提供しており、本手法の頑健性を裏付けている。
• 非パラメトリックな設定では、スライスサンプリングとHMCに基づく手法が、過学習を伴わずに意味のある無限個の成分構造を効果的に発見した。
• 実世界のデータセットにおける実験結果から、本手法はモデルの表現力と計算効率の両面で最先端の性能を達成した。