[論文レビュー] Provable Algorithms for Inference in Topic Models

Sanjeev Arora, Rong Ge+3 more|arXiv (Cornell University)|May 27, 2016

Data Management and Algorithms参考文献 18被引用数 10

ひとこと要約

この論文は、短いドキュメントからのトピック割合推定に、トピック行列の近似逆行列を用いて、理論的に保証された効率性を持つ最初のアルゴリズムを提示する。これは、自然な条件下でのサンプル数の複雑さと誤差の上限について理論的保証を伴い、Gibbsサンプリングと同等の性能をほぼリアルタイムで達成する。

ABSTRACT

Recently, there has been considerable progress on designing algorithms with provable guarantees -- typically using linear algebraic methods -- for parameter learning in latent variable models. But designing provable algorithms for inference has proven to be more challenging. Here we take a first step towards provable inference in topic models. We leverage a property of topic models that enables us to construct simple linear estimators for the unknown topic proportions that have small variance, and consequently can work with short documents. Our estimators also correspond to finding an estimate around which the posterior is well-concentrated. We show lower bounds that for shorter documents it can be information theoretically impossible to find the hidden topics. Finally, we give empirical results that demonstrate that our algorithm works on realistic topic models. It yields good solutions on synthetic data and runs in time comparable to a {\em single} iteration of Gibbs sampling.

研究の動機と目的

• トピックモデルにおけるトピック推論のための、理論的保証付きの最初のアルゴリズムを設計すること。これは理論的理解における主要なギャップを埋めるものである。
• 特に、近似逆行列の存在に着目して、トピック行列の構造的性質を活用することで、短いドキュメントからの正確な推論を可能にすること。
• 意味のある推論に必要な最小単語数の情報理論的限界を確立し、$r$-スパースなトピックベクトルに対しては$\Omega(r^2)$のサンプルが必要であることを示すこと。
• 線形推定器に続く最尤推定の前処理が、合成データおよび実世界のデータにおいて強力な実験的性能を示すこと。
• アルゴリズムが1回のGibbsサンプリング反復と同等の時間で実行可能であり、実用的導入を可能にすること。

提案手法

• 本手法は、トピック行列 $A$ の近似逆行列 $B$ を用いた線形推定器を採用する。ここで $B$ は $\|BA - I\|_{\infty \to 1} \leq \epsilon$ を満たす。
• 推定器 $\hat{x} = B y$ は、ドキュメントの単語数ベクトル $y$ に適用され、低分散のトピック割合の初期推定値を生成する。
• 推定精度を決定づける主要な構造的パrameterとして、$A$ の $\ell_{\infty} \to \ell_1$ 条件数を用いる。
• 後処理ステップとして、線形推定器で特定されたトピックの縮小された集合上で最尤推定を適用し、精度を向上させる。
• 理論的分析により、トピックベクトルが $r$-スパースである場合、$O(r^2 \log k)$ 個の単語で信頼性のある推論が可能であることが示された。
• 本手法は、合成データおよび実データ（NYTimes、Enron、NIPS）に対して実証的に検証され、$B$ の実用的選択として擬似逆行列が用いられた。

実験結果

リサーチクエスチョン

• RQ1 短いドキュメントを対象とした、理論的に保証された効率性を持つトピックモデルの推論アルゴリズムを設計することは可能か？
• RQ2 トピック行列にどのような構造的条件が、トピック割合の信頼性の高い線形推定を可能にするか？
• RQ3 $r$-スパースなトピックベクトルに対して、$r^2$ 個未満の単語でトピック割合を推論することは情報理論的に可能か？
• RQ4 精度と速度の観点から、提案された線形推定器はGibbsサンプリングと比べてどの程度の性能を示すか？
• RQ5 最尤推定による後処理は、初期線形推定の精度を著しく向上させることができるか？

主な発見

• 合成データでは、TLIアルゴリズムの $\ell_1$ および $\ell_\infty$ 誤差はGibbsサンプリングの3〜5倍であるが、最尤推定の後処理を施すと著しく性能が向上する。
• NYTimesデータセットでは、TLIは1ドキュメントあたり0.8ミリ秒でトピック推定を実行し、1回のGibbsサンプリング反復（1.0 ms）と同等の速度である。
• Enronデータセットでは、TLIの精度に到達するには20回のGibbsサンプリング反復（15回のバーニング）が必要であり、TLIの高速性の優位性が明確に示された。
• 実ドキュメントでは、TLIはGibbsサンプリングが特定した上位3つのトピックの34%〜60%を回復するが、TLIの上位5つのトピックを用いることで、再現率は40%〜75%に向上する。
• 理論的分析により、推論に $\Omega(r^2)$ 個の単語が必要であり、本アルゴリズムは $O(r^2 \log k)$ のサンプル複雑度を達成しており、対数要因を除いて下界と一致する。
• 実世界のトピック行列の $\ell_{\infty} \to \ell_1$ 条件数は、アルゴリズムの性能と相関しており、NIPS（最良）とEnron（最悪）では性能差が最も明確に現れた。