[論文レビュー] A provable SVD-based algorithm for learning topics in dominant admixture corpus

Trapit Bansal, Chiranjib Bhattacharyya+1 more|arXiv (Cornell University)|Oct 26, 2014

Topic Modeling参考文献 15被引用数 36

ひとこと要約

本稿では、ドメインinant混合コーパスにおけるトピックモデル学習のための、証明可能に正確なSVDベースのアルゴリズムTSVDを提案する。この手法は、特定のトピック内での頻度が他のトピックよりも厳密に高い「キーワード（catchwords）」を導入することで、トピックに特有の共起語を特定する。キーワードとドミナント混合の現実的な仮定の下で、TSVDは語彙サイズに依存しない有界な$l_1$誤差を達成し、実データおよび準実験的コーパスにおいて、先行する最先端手法を上回る性能を示した。

ABSTRACT

Topic models, such as Latent Dirichlet Allocation (LDA), posit that documents are drawn from admixtures of distributions over words, known as topics. The inference problem of recovering topics from admixtures, is NP-hard. Assuming separability, a strong assumption, [4] gave the first provable algorithm for inference. For LDA model, [6] gave a provable algorithm using tensor-methods. But [4,6] do not learn topic vectors with bounded $l_1$ error (a natural measure for probability vectors). Our aim is to develop a model which makes intuitive and empirically supported assumptions and to design an algorithm with natural, simple components such as SVD, which provably solves the inference problem for the model with bounded $l_1$ error. A topic in LDA and other models is essentially characterized by a group of co-occurring words. Motivated by this, we introduce topic specific Catchwords, group of words which occur with strictly greater frequency in a topic than any other topic individually and are required to have high frequency together rather than individually. A major contribution of the paper is to show that under this more realistic assumption, which is empirically verified on real corpora, a singular value decomposition (SVD) based algorithm with a crucial pre-processing step of thresholding, can provably recover the topics from a collection of documents drawn from Dominant admixtures. Dominant admixtures are convex combination of distributions in which one distribution has a significantly higher contribution than others. Apart from the simplicity of the algorithm, the sample complexity has near optimal dependence on $w_0$, the lowest probability that a topic is dominant, and is better than [4]. Empirical evidence shows that on several real world corpora, both Catchwords and Dominant admixture assumptions hold and the proposed algorithm substantially outperforms the state of the art [5].

研究の動機と目的

• 現実的な仮定の下で、語彙サイズに依存しない有界な$l_1$誤差でトピック分布を正確に回復できるトピック推論アルゴリズムの開発。
• 複数のトピックが存在するが、各ドキュメントが1つのトピックで支配されているような現実世界のテキストコーパスのモデル化。
• 「アンカー語（anchor words）」という強い分離性仮定を、より自然で経験的に裏付けられた仮定である「トピック固有のキーワード」に置き換え。
• しきい値処理を施した前処理ステップを備えた単純なSVDベースのアルゴリズムを設計し、証明可能な収束性を保証。
• 最小ドミナントトピック重み$w_0$に近似的に最適な依存関係を示すサンプル複雑度の達成。

提案手法

• キーワードの概念を導入：共起頻度が高く、あるトピック内での個別頻度が他のすべてのトピックよりも高い語群。
• コーパスがドミナント混合から生成されたものであると仮定する。ここで各ドキュメントは、他のトピックよりも著しく高い重みを持つ1つのトピックで支配されている。
• ドキュメント-語共起行列に対してしきい値処理の前処理ステップを適用し、高頻度でトピック固有の語群を分離。
• 前処理済み行列に対してトレuncated SVDを適用し、トピックに対応する低ランク近似を抽出。
• SVDの結果を用いて、語彙サイズ$d$に依存しない有界な$l_1$誤差境界を保証するトピックベクトルを回復。
• キーワードとドミナント混合の仮定の下で、アルゴリズムがトピック行列を誤差が$d$に依存せずに回復することを証明。

実験結果

リサーチクエスチョン

• RQ1 現実的な仮定の下で、単純なSVDベースのアルゴリズムが、トピック回復に対して証明可能な$l_1$誤差境界を達成できるか？
• RQ2 あるトピック内での頻度が高く、強い共起性を示す語（キーワード）という仮定は、アンカー語に比べてより優れたトピック回復を可能にするか？
• RQ3 ドキュメントの1つのトピックが支配的であるというドミナント混合仮定は、証明可能で正確なトピック推論を可能にするか？
• RQ4 提案されたアルゴリズムのサンプル複雑度は、最小ドミナントトピック重み$w_0$に対してどのようにスケーリングされるか？
• RQ5 実データおよび準実験的コーパスにおいて、$l_1$回復誤差の観点で、[5]のような既存の最先端手法を上回るか？

主な発見

• TSVDアルゴリズムは、語彙サイズ$d$に依存しない有界な$l_1$誤差をトピック回復で達成しており、先行研究とは異なり、$d$に線形に増加する誤差とは異なり、$d$に依存しない。
• 実世界のデータセットから構築した準実験的コーパスにおいて、TSVDは最先端手法[5]と比較して、90%のトピックで$l_1$回復誤差を27%低減した。
• 経験的検証により、キーワード仮定とドミナント混合仮定が実世界のコーパスで成り立つことが確認され、モデルの現実性が裏付けられた。
• サンプル複雑度は$w_0$（最小ドミナントトピック重み）に対して近似的に最適な依存関係を示し、[4]をこの点で上回った。
• しきい値処理の前処理ステップは極めて重要である。これはトピック固有の語群を分離可能にし、正確なSVDベースのトピック回復を可能にする。
• アンカー語に基づくアプローチよりも弱い仮定であるキーワードを用いることで、モデルはより現実的で経験的根拠に基づいたものとなった。