[論文レビュー] Progressive EM for Latent Tree Models and Hierarchical Topic Detection

Peixian Chen, Nevin L. Zhang+2 more|arXiv (Cornell University)|Aug 5, 2015

Advanced Text Analysis Techniques被引用数 3

ひとこと要約

本稿では、トピックの整合性と階層構造の質においてLDAベースのモデルを上回る、階層的トピック検出のための手法である階層的潜在木分析（HLTA）の計算効率を向上させるために、プログレッシブEM（PEM）を提案する。標準的なEMに代わり、モーメント法にインspiredされた段階的かつ局所的なパラメータ推定戦略を採用することで、PEM-HLTAはHLTAに比べて40倍の高速化を達成し、NIPSデータセットを17時間から4分に短縮した。モデルの適合度やトピック品質は同等またはそれを上回り、大規模データにおいてnHDPを含む最先端のLDAベースの手法を、効率性とトピック整合性の両面で上回った。

ABSTRACT

Hierarchical latent tree analysis (HLTA) is recently proposed as a new method for topic detection. It differs fundamentally from the LDA-based methods in terms of topic definition, topic-document relationship, and learning method. It has been shown to discover significantly more coherent topics and better topic hierarchies. However, HLTA relies on the Expectation-Maximization (EM) algorithm for parameter estimation and hence is not efficient enough to deal with large datasets. In this paper, we propose a method to drastically speed up HLTA using a technique inspired by recent advances in the moments method. Empirical experiments show that our method greatly improves the efficiency of HLTA. It is as efficient as the state-of-the-art LDA-based method for hierarchical topic detection and finds substantially better topics and topic hierarchies.

研究の動機と目的

• HLTAの計算非効率性を解消すること。HLTAはパラメータ推定に遅い期待最大化（EM）に依存しており、大規模データセットでは性能を発揮できない。
• トピック品質や階層構造の忠実度を損なわず、HLTAのスケーラビリティを向上させること。
• モデル適合度を維持しつつ、潜在木モデルのトレーニング時間を著しく短縮できるEMの代替手法を開発すること。
• ニューヨーク・タイムズデータセット（30万件の記事を含む）のような大規模なドキュメントコレクションへのHLTAの実用的導入を可能にすること。
• nHDPのような最先端のLDAベースの手法と同等またはそれ以上の性能を発揮することを示すこと。特に、速度とトピック整合性の両面で優れていること。

提案手法

• PEMは、標準的なEMに代わり、3〜4つの観測変数に関連する小さなパラメータグループに限定して、段階的にパラメータを推定する戦略を採用する。
• この手法は、観測変数の低次のモーメントを含む方程式を用いてパラメータを解くモーメント法にインspiredされており、計算複雑度を低減する。
• PEM-HLTAは2段階で動作する：階層的モデル構築段階と、局所的パラメータグループに対してEMに類似した更新を繰り返すプログレッシブなパラメータ推定段階。
• アルゴリズムは、二値の潜在変数が階層的トピッククラスタを形成する、潜在木モデル（LTM）の木構造をもつベイジアンネットワークで表現する。
• 大規模データセットへのスケーリングを図るために、データをミニバッチで処理し、複数回のパスで段階的にパラメータを更新するステノスティックEMを適用する。
• 実証的評価により、文書ごとの対数尤度値が標準的なEMと同等であることが確認され、モデル適合度が保持されていることが保証されている。

実験結果

リサーチクエスチョン

• RQ1 プログレッシブEMアプローチは、トピック整合性やモデル適合度を損なわず、HLTAのトレーニング時間を著しく短縮できるか？
• RQ2 大規模なテキストデータにおいて、PEM-HLTAはnHDPのような最先端のLDAベースの手法と比較して、トピック品質や階層構造の質に優れているか？
• RQ3 段階的パラメータ推定戦略は、計算効率を向上させる一方で、モデル尤度をどれほど保持できるか？
• RQ4 ニューヨーク・タイムズコーパス（30万件の記事、1万語）のような大規模データセットにもPEM-HLTAはスケーラブルか？
• RQ5 PEM-HLTAの第二段階でステノスティックEMを用いることで、大規模データセットにおける実行時間をさらに短縮しながら性能を維持できるか？

主な発見

• NIPSデータセット（1,000語、2,000件未満のドキュメント）において、PEM-HLTAはHLTAの17時間から4分にまで短縮され、255倍の高速化を達成した。
• より大きなNews-5kデータセット（10,000語）では、PEM-HLTAは365分で完了したが、HLTAは3日以内に終了しなかった。これにより、優れたスケーラビリティが示された。
• PEM-HLTAは、nHDP や hLDA を含むすべてのベースラインより高い平均トピック整合性スコアを達成し、ニューヨーク・タイムズデータセットでは-12.86のスコアを記録した。nHDPの-13.35より優れている。
• Nips-1kデータセットでは、PEM-HLTAの文書ごとの対数尤度値はHLTAとほぼ同一であった（例：-390 vs. -391）。これにより、モデル適合度が保持されていることが確認された。
• ニューヨーク・タイムズデータセットでは、PEM-HLTAは11時間（670分）で実行されたが、nHDPは10.5時間で完了した。しかし、PEM-HLTAははるかに高い整合性のトピックと優れたトピック階層を生成した。
• 大規模データにおいて、CorEx や hLDA、nHDP よりもトピック整合性とモデル適合度で優れており、HLTA や CorEx よりも効率的であった。