[論文レビュー] Topic Discovery through Data Dependent and Random Projections

Weicong Ding, Mohammad Hossein Rohban+2 more|arXiv (Cornell University)|Mar 15, 2013

Algorithms and Data Compression参考文献 17被引用数 31

ひとこと要約

この論文は、分離可能性条件の下で、データに依存するおよびランダムな射影を用いて、個々のトピック固有の新しい語（novel words）を特定する計算効率の高いトピックモデリング手法を提案する。語の頻度パターンをランダムな方向に射影することで、新しい語に対応する極値点を検出でき、サンプルの複雑さが最先端の手法と同等であり、計算複雑度は O(√M W + M N) にスケーリングする線形時間のトピック回復が可能である。

ABSTRACT

We present algorithms for topic modeling based on the geometry of cross-document word-frequency patterns. This perspective gains significance under the so called separability condition. This is a condition on existence of novel-words that are unique to each topic. We present a suite of highly efficient algorithms based on data-dependent and random projections of word-frequency patterns to identify novel words and associated topics. We will also discuss the statistical guarantees of the data-dependent projections method based on two mild assumptions on the prior density of topic document matrix. Our key insight here is that the maximum and minimum values of cross-document frequency patterns projected along any direction are associated with novel words. While our sample complexity bounds for topic recovery are similar to the state-of-art, the computational complexity of our random projection scheme scales linearly with the number of documents and the number of words per document. We present several experiments on synthetic and real-world datasets to demonstrate qualitative and quantitative merits of our scheme.

研究の動機と目的

• 従来のNMFおよびLDA手法が計算的・統計的制限に直面する高次元かつスパースなドキュメントコーパスにおけるトピックモデリングの課題に対処する。
• 各トピックに固有の重複のない語が存在すると仮定する分離可能性条件を活用することで、非負値行列分解（NMF）のNP困難性を克服する。
• ドキュメント分布の凸包における語頻度ベクトルの幾何的性質を活用して、新しい語を特定するスケーラブルなアルゴリズムを開発する。
• トピック-ドキュメント行列の事前分布にやや弱い仮定を置いた場合でも、トピック回復の確実な統計的保証を達成する。
• ドキュメント数および1ドキュメントあたりの語数に対して、計算複雑度をほぼ線形スケーリングに抑えることで、大規模コーパスへの実用的導入を可能にする。

提案手法

• ドキュメント間の語頻度ベクトルに対してデータに依存するおよびランダムな射影を適用し、凸包の極値点を検出することで、分離可能性条件下で新しい語を特定する。
• 幾何的洞察として、ランダムな射影方向における最大値および最小値が凸包の極値点に対応することを活用し、新しい語を同定する。
• 複数の新しい語が同一トピックに属する場合の曖昧さを解消するために、距離に基づくクラスタリングアルゴリズムを適用し、同じトピックに属する複数の新しい語をグループ化する。
• 識別された新しい語をアンカーとして線形回帰を用いてトピック語分布を推定し、トピック行列の一貫性および正確な回復を保証する。
• トピック-ドキュメント行列の事前密度に関する2つのやや弱い仮定の下で、理論的サンプル複雑さの境界を確立し、最先端の手法と同等の性能を示す。
• 2段階のアルゴリズムを設計する：(1) 射影による新しい語の検出、(2) 回帰によるトピック回復。全体の計算複雑度は O(√M W + M N) である。

実験結果

リサーチクエスチョン

• RQ1 分離可能性条件下で、ランダムおよびデータに依存する射影を用いて、トピックモデリングにおける新しい語を効率的に同定できるか？
• RQ2 提案手法の計算複雑度は、既存の最先端のトピックモデリングアルゴリズムと比較してどの程度か？
• RQ3 トピック-ドキュメント事前分布にやや弱い仮定を置いた場合、サンプル複雑さおよび統計的整合性の観点で、この手法はどの程度の性能を示すか？
• RQ4 この手法は、現実世界および合成データセットにおいて、高い正確性と低い誤検出・見逃し率を達成できるか？
• RQ5 ドキュメント数および1ドキュメントあたりの語数の増加に伴い、この手法はどの程度スケーリングできるか？

主な発見

• 提案手法は、Arora et al. (2012a) などの最先端の手法と同等のサンプル複雑さを達成し、分離可能性条件下での信頼性の高いトピック回復を保証する。
• 計算複雑度は O(√M W + M N) にスケーリングされ、特に M や W が大きい場合、従来のNMFやLDAベースのアプローチと比較して顕著に効率的である。
• 合成および現実世界のデータセット（例：NY Times）における実験により、この手法は誤検出および見逃し検出率が無視できるほど低い水準で新しい語を同定していることが示された。
• 距離に基づくクラスタリング手順により、1トピックに複数の新しい語が存在する場合に効果的にグループ化され、冗長性が低減され、トピックの一貫性が向上する。
• トピックの質的品質およびトピック一貫性や回復正確性といった定量的指標の両面で、既存の手法を上回る性能を示した。
• トピック-ドキュメント行列の事前密度に関する2つのやや弱い仮定の下で理論的保証が確立され、ロバストネスおよび一般化性能が裏付けられた。