[論文レビュー] On some provably correct cases of variational inference for topic models

Pranjal Awasthi, Andrej Risteski|arXiv (Cornell University)|Mar 23, 2015

Machine Learning and Algorithms参考文献 19被引用数 8

ひとこと要約

本稿は、トピックモデルにおける変分推論が、トピック-語行列およびトピック事前分布に関する自然な仮定の下で、グローバル最適解に収束することを理論的に証明する最初の分析を提供している。著者らは、変分更新を真の値のノイズ付き凸結合として扱う、非標準的な証明技法を新たに開発し、サポートベースやシーディング初期化といった自然で実用的な手法による初期化のもとで、収束を保証する結果を得た。

ABSTRACT

Variational inference is a very efficient and popular heuristic used in various forms in the context of latent variable models. It's closely related to Expectation Maximization (EM), and is applied when exact EM is computationally infeasible. Despite being immensely popular, current theoretical understanding of the effectiveness of variaitonal inference based algorithms is very limited. In this work we provide the first analysis of instances where variational inference algorithms converge to the global optimum, in the setting of topic models. More specifically, we show that variational inference provably learns the optimal parameters of a topic model under natural assumptions on the topic-word matrix and the topic priors. The properties that the topic word matrix must satisfy in our setting are related to the topic expansion assumption introduced in (Anandkumar et al., 2013), as well as the anchor words assumption in (Arora et al., 2012c). The assumptions on the topic priors are related to the well known Dirichlet prior, introduced to the area of topic modeling by (Blei et al., 2003). It is well known that initialization plays a crucial role in how well variational based algorithms perform in practice. The initializations that we use are fairly natural. One of them is similar to what is currently used in LDA-c, the most popular implementation of variational inference for topic models. The other one is an overlapping clustering algorithm, inspired by a work by (Arora et al., 2014) on dictionary learning, which is very simple and efficient. While our primary goal is to provide insights into when variational inference might work in practice, the multiplicative, rather than the additive nature of the variational inference updates forces us to use fairly non-standard proof arguments, which we believe will be of general interest.

研究の動機と目的

• 変分推論が広く使われているにもかかわらず、トピックモデルにおける理論的保証が不足しているという問題に取り組む。
• 変分推論が真のモデルパラメータに収束する条件を特定する。
• 変分更新の乗法的構造を扱う非標準的証明技法を用いた収束ダイナミクスの形式的分析を提供する。
• 既存の実装やクラスタリングヒューリスティクスにインspiredされた現実的な初期化戦略を用いて、保証付き収束を確立する。
• 潜在変数モデルにおける変分推論の実用的成功と理論的理解のギャップを埋める。

提案手法

• 真のパラメータと有界な誤差項の組み合わせとして繰り返し更新をモデル化し、時間の経過とともに真の重みが優勢になるようにする。
• 各更新ステップを真のパラメータと推定誤差のノイズ付き凸結合として扱い、モデル仮定を活用して誤差の減少を保証する。
• スパarsityおよび優位性仮定に基づき、各トピックごとに「局所的」なアンカーアイテムおよびアンカードキュメントの概念を導入する。
• しきい値付き更新を用いたKLダイバージェンスの交互最小化により収束を安定化させ、局所最適解を回避する。
• チェルノフの不等式および集中不等式を適用して、経験的周辺分布が真の周辺分布を近似するために必要な文書数を推定する。
• 2種類の初期化戦略を設計した：1つはサポート同定に基づく（LDA-cに類似）、もう1つは重複クラスタリングに基づく（Arora et al. 2014 にインspiredされたシーディング初期化）。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、トピックモデルにおける変分推論が保証付きでグローバル最適解に収束するか？
• RQ2 変分推論の乗法的更新構造を、非標準的証明技法を用いてどのように分析できるか？
• RQ3 初期化が真のモデルパラメータへの収束を保証する上で果たす役割は何か？
• RQ4 トピック-語行列におけるスパarsityおよび優位性が、トピック構造の保証付き回復をどのように可能にするか？
• RQ5 経験的周辺分布が真の周辺分布を高い確率で近似するには、どの程度のサンプル量（文書数）が必要か？

主な発見

• トピック-語行列およびトピック事前分布に関する自然な仮定の下で、変分推論は真のトピックモデルパラメータに保証付きで収束する。
• サポートベースやシーディング初期化を用いることで収束が保証され、これらは実用的かつ広く実装で用いられている。
• 解析により、モデル仮定から生じる真の値への優位な重みのおかげで、変分更新における誤差項が時間とともに減少することが示された。
• 高い確率で、支配的ドキュメントにおける経験的トピック割合は、$ D = \Omega\left(\frac{K\log^2 K}{\epsilon^2}\right) $ の文書数があれば真の割合に収束する。
• 判別語に対しては、共通語が存在する中でも、高い確率でそのトピックサポートおよび優位トピックが正しく特定される。
• 理論的境界により、$ D_{i,jS} \geq D_i(1-\epsilon)(1-o(1)) $ の文書が存在し、その中で特定のトピックが優位であり、判別語がそのトピックにのみ出現することが保証され、信頼性のある同定が可能となる。