[論文レビュー] When are Overcomplete Topic Models Identifiable? Uniqueness of Tensor Tucker Decompositions with Structured Sparsity

Anima Anandkumar, Daniel Hsu+2 more|arXiv (Cornell University)|Aug 13, 2013

Tensor decomposition and applications参考文献 47被引用数 17

ひとこと要約

本稿は、高次モーメントテンソルとTucker分解を用いた構造的スパarsityを用いて、過剰なトピックモデルの一般的同定可能性のための条件を確立する。トピックの持続性と完全な$n$-gramマッチングを、語彙サイズを超えるトピック数がある場合でも同定可能性を可能にする主要なメカニズムとして導入し、軽微な条件下でランダムな構造的トピックモデルが高確率で同定可能であることを証明する。

ABSTRACT

Overcomplete latent representations have been very popular for unsupervised feature learning in recent years. In this paper, we specify which overcomplete models can be identified given observable moments of a certain order. We consider probabilistic admixture or topic models in the overcomplete regime, where the number of latent topics can greatly exceed the size of the observed word vocabulary. While general overcomplete topic models are not identifiable, we establish generic identifiability under a constraint, referred to as topic persistence. Our sufficient conditions for identifiability involve a novel set of "higher order" expansion conditions on the topic-word matrix or the population structure of the model. This set of higher-order expansion conditions allow for overcomplete models, and require the existence of a perfect matching from latent topics to higher order observed words. We establish that random structured topic models are identifiable w.h.p. in the overcomplete regime. Our identifiability results allows for general (non-degenerate) distributions for modeling the topic proportions, and thus, we can handle arbitrarily correlated topics in our framework. Our identifiability results imply uniqueness of a class of tensor decompositions with structured sparsity which is contained in the class of Tucker decompositions, but is more general than the Candecomp/Parafac (CP) decomposition.

研究の動機と目的

• 語彙サイズを超えるトピック数を持つ過剰なトピックモデルが、観測可能な高次モーメントから一意に同定可能となる条件を特定すること。
• 特徴抽出の効率性と信頼性を損なう過剰な潜在変数モデルにおける非同定可能性の根本的課題に対処すること。
• 過剰な状況下での同定可能性を可能にする構造的制約としてのトピックの持続性の概念を導入し、形式化すること。
• 特に完全な$n$-gramマッチングとKruskalランクを含む、トピック-語行列の組合せ的および代数的性質に基づいた同定可能性の十分条件を確立すること。
• CP分解を超える幅広いクラスの構造的スパarsityを有するTucker分解を分析することで、テンソル分解の一意性結果を拡張すること。

提案手法

• 連続する$n$語が同じトピックを共有する$n$-持続的トピックモデルを導入し、局所的な構造を導入することで同定可能性を実現する。
• 完全な$n$-gramマッチングを、トピック-語双方向グラフにおける組合せ的条件として定義し、各トピックが一意に$n$語の列に結びつけられることを保証する。
• トピック-語行列における高次拡張条件を用いて、モデルのモーメントテンソルが同定に十分なランク構造を持つことを保証する。
• ランダム行列理論と確率的バウンドを適用し、ランダムな構造的トピックモデルが所定の条件を高確率で満たすことを示す。
• 構造的スパarsity下でのTucker型分解の一意性を保証するため、Kruskalランク条件を活用する。
• ランダムなスパarsityと次数制約の下で、トピック-語行列から導かれる部分行列のフル列ランクを示すことで、同定可能性問題を簡略化する。

実験結果

リサーチクエスチョン

• RQ1 過剰なトピックモデルが、観測可能な高次モーメントから一般に同定可能となる条件は何か？
• RQ2 トピックの持続性—語の列におけるトピックの局所的共起性—は、過剰なモデルにおける同定可能性にどのように影響するか？
• RQ3 トピック-語行列に課される組合せ的および代数的条件は、過剰な状況下でのテンソル分解の一意性をどのように保証するか？
• RQ4 ランダムな構造的トピックモデルが、過剰な設定下で高確率で同定可能であることを示せるか？
• RQ5 提案された条件は、既存のCP分解の一意性結果とどのように関係し、一般化するか？

主な発見

• 本稿は、トピック-語行列に完全な$n$-gramマッチングが存在し、高次拡張条件を満たす場合、過剰なトピックモデルが一般に同定可能であることを証明する。
• ランダムな構造的トピックモデルは、トピック数$q$が$q \leq \left(c\frac{p}{2}\right)^2$を満たす場合、語彙サイズ$p$とスパarsityに関連する定数$c$を用いて、高確率で同定可能である。
• トピック-語行列のKruskalランクが高確率で$cp$以上であることが示され、これはテンソル分解における一意性の重要な条件である。
• 同定可能性の結果は、一般（非退化）のトピック割合分布に対しても成立し、任意に相関のあるトピックを許容する。
• フレームワークはCP分解を超えて一般化され、構造的スパarsityを有するより広いクラスのTucker分解の一意性を提供する。
• これらの条件は、$q \gg p$であっても、第四モーメントテンソルからも潜在的なトピック構造を一意に回復可能であることを保証するのに十分である。