[論文レビュー] Guaranteed inference in topic models

Khoat Than, Tung Doan|arXiv (Cornell University)|Dec 10, 2015

Topic Modeling参考文献 26被引用数 5

ひとこと要約

本稿では、LDAなどのトピックモデルにおける後部推論のための、理論的に保証された高速なアルゴリズムであるオンライン最大後負後確率推定（OPE）を紹介する。OPEは$O(1/T)$の収束速度を達成し、既存の手法よりも高速かつ高品質である。さらに、大規模またはストリーミングテキストデータ上で訓練を著しく高速化する3つのスケーラブルな学習アルゴリズム—オンライン-OPE、ストリーミング-OPE、ML-OPE—を実現し、高い予測性能を維持する。

ABSTRACT

One of the core problems in statistical models is the estimation of a posterior distribution. For topic models, the problem of posterior inference for individual texts is particularly important, especially when dealing with data streams, but is often intractable in the worst case. As a consequence, existing methods for posterior inference are approximate and do not have any guarantee on neither quality nor convergence rate. In this paper, we introduce a provably fast algorithm, namely Online Maximum a Posteriori Estimation (OPE), for posterior inference in topic models. OPE has more attractive properties than existing inference approaches, including theoretical guarantees on quality and fast rate of convergence to a local maximal/stationary point of the inference problem. The discussions about OPE are very general and hence can be easily employed in a wide range of contexts. Finally, we employ OPE to design three methods for learning Latent Dirichlet Allocation from text streams or large corpora. Extensive experiments demonstrate some superior behaviors of OPE and of our new learning methods.

研究の動機と目的

• 既存のトピックモデルの後部推論手法に理論的保証が欠如していること、特に近似手法が多く収束速度の境界が明示されていないことに対処すること。
• 非凸的でNP困難な推論設定下で、MAP推定問題の局所的最大値に理論的に保証された収束を達成する確率的最適化手法を開発すること。
• OPEをコア推論サブルーチンとして活用する、大規模またはストリーミングテキストコーパスの効率的処理を可能にするLDAのためのスケーラブルな学習アルゴリズムを設計すること。
• OPEおよびその派生学習手法が、収束速度、予測性能、安定性の面で最先端の手法を凌駆することを実験的に検証すること。

提案手法

• OPEは、LDAにおけるトピック混合推定のための確率的オンラインアルゴリズムであり、オンライン最大後負後確率（MAP）推定を実行する。
• 減少するステップサイズスケジュールと確率的勾配上昇を用い、文書-トピック分布を後部の局所的最大値に向けて反復的に更新する。
• 非凸最適化問題に対処できるように設計されており、理論的に$O(1/T)$の収束速度で収束することが保証されている。これは、非凸問題に対する既存の確率的手法よりも速い。
• OPEはランダム初期化と文書トークンの確率的サンプリングを用いて勾配を計算し、効率的かつスケーラブルな推論を実現する。
• この手法は一般性を有し、LDAに限らず、非凸後部推定を含む広範な確率的モデルに適用可能である。
• OPEを推論エンジンとして用いることで、3つの新しい学習アルゴリズム—オンライン-OPE、ストリーミング-OPE、ML-OPE—を構築し、グローバルLDAパラメータの効率的オンラインおよびストリーミング学習を可能にした。

実験結果

リサーチクエスチョン

• RQ1 トピックモデルのための確率的推論アルゴリズムが、品質と収束速度の両面で理論的収束保証を達成できるか？
• RQ2 OPEは、VB、CVB0、CGSといった既存の近似推論手法よりも、速度、正確性、安定性の面で優れているか？
• RQ3 OPEは、大規模またはストリーミングテキストデータのためのスケーラブルな学習フレームワークに効果的に統合できるか？
• RQ4 OPEに基づく学習手法の収束速度と予測性能は、最先端の手法と比較してどうか？
• RQ5 OPEは初期化やサンプリングノイズに対してロバストであるか？複数回の実行における目的関数値の変動が安定しているか？

主な発見

• OPEは理論的収束速度$O(1/T)$を達成し、非凸最適化に対する既存の確率的アルゴリズムの最良のレートを上回る。
• 実際の応用では、変分ベイズ（VB）に比べて最大数百倍速く、コラプスドギブスサンプリング（CGS）よりも顕著に高速である。
• ML-OPEは、既存の手法に比べて数十〜数万倍速くモデルを学習し、同等またはより優れた予測性能を達成する。
• オンライン-OPEは予測性能において最先端の手法を上回り、特に短いテキストに対して特に効果的である。
• OPEは高い安定性を示し、10回のランダム実行における目的関数値の標準偏差は、常に20未満であり、目的関数値が-2300から-2000の範囲にあろうとも一定である。
• OPEの目的関数値は反復回数にほぼ線形に増加しており、高速収束であり、理論的期待と整合していることが確認された。