[論文レビュー] Uniqueness of Tensor Decompositions with Applications to Polynomial Identifiability

Aditya Bhaskara, Moses Charikar+1 more|arXiv (Cornell University)|Apr 30, 2013

Tensor decomposition and applications参考文献 26被引用数 35

ひとこと要約

本稿では、テンソル分解の一意性に関するクラスカルの定理のロバスト版を提示し、テンソルが逆多項式誤差によって汚染されても、低ランクテンソル分解が一意に同定可能であることを証明している。この結果により、トピックモデルやHMMsなどの潜在変数モデルにおけるパラメータ同定のための多項式的サンプル複雑度が可能となり、従来の非退化性仮定を克服し、より弱い条件下でも効率的な学習アルゴリズムの構築が可能になる。

ABSTRACT

We give a robust version of the celebrated result of Kruskal on the uniqueness of tensor decompositions: we prove that given a tensor whose decomposition satisfies a robust form of Kruskal's rank condition, it is possible to approximately recover the decomposition if the tensor is known up to a sufficiently small (inverse polynomial) error. Kruskal's theorem has found many applications in proving the identifiability of parameters for various latent variable models and mixture models such as Hidden Markov models, topic models etc. Our robust version immediately implies identifiability using only polynomially many samples in many of these settings. This polynomial identifiability is an essential first step towards efficient learning algorithms for these models. Recently, algorithms based on tensor decompositions have been used to estimate the parameters of various hidden variable models efficiently in special cases as long as they satisfy certain "non-degeneracy" properties. Our methods give a way to go beyond this non-degeneracy barrier, and establish polynomial identifiability of the parameters under much milder conditions. Given the importance of Kruskal's theorem in the tensor literature, we expect that this robust version will have several applications beyond the settings we explore in this work.

研究の動機と目的

• 逆多項式誤差の下でテンソル分解のクラスカルの一意性定理のロバスト版を確立すること。
• 従来の非退化性仮定を必要としていた潜在変数モデルにおけるパラメータ同定の多項式的サンプル複雑度を可能にすること。
• 多項式的数のサンプルで得られる経験的モーメントテンソルから、テンソルの成分を正確に回復するアルゴリズムを開発すること。
• 観測次元が隠れ状態数より小さい（n < R）状況におけるテンソル分解法の適用範囲を拡張すること。これは、音声や画像処理の応用で一般的である。
• トピックモデル、HMM、ガウス混合モデルなどのモデルにおける、より弱い構造的仮定の下での効率的学習アルゴリズムの理論的基盤を提供すること。

提案手法

• 小さな摂動の下でもテンソル分解の安定性を保証する、クラスカルのランク条件のロバストな形を導入すること。
• 【HK13】で提案された新しいアルゴリズム的技術を用い、共分散行列の最小特異値を信号強度パラメータσに対して逆多項式の精度で推定すること。
• 定理5.6を適用して、近似的に既知のテンソルから低ランク成分（行列A, B, C）と重み{w_r}を回復すること。
• R個のベクトルμ_i − Mom_1が(R−1)次元部分空間に存在することを活用し、2階モーメント行列の経験的特異値からσを推定すること。
• 2段階のアルゴリズムを設計：まずσを逆多項式の精度で推定し、次にロバスト一意性を用いて完全な分解を同定すること。
• ロバストクラスカル条件（k_A + k_B + k_C ≥ 2R + 2）が満たされている場合、O(poly(n, R, 1/ε))サンプルで経験的テンソルから分解が一意に回復可能であることを証明すること。

実験結果

リサーチクエスチョン

• RQ1 テンソル要素に逆多項式誤差がある場合でも、テンソル分解の一意性を保証できるか？
• RQ2 ロバストクラスカル条件により、潜在変数モデルの学習における多項式的サンプル複雑度が達成可能か？
• RQ3 n < Rの状況で、標準的な非退化性仮定が満たされない場合でも、効率的なアルゴリズムを設計可能か？
• RQ4 効率的に計算可能なパラメータを用いて、テンソル分解の一意性を検証可能か？
• RQ5 ロバスト一意性結果を、ガウス分布や積分布を含む一般の混合モデルへ拡張可能か？

主な発見

• ロバストクラスカルの一意性定理が証明された：テンソルがロバストなクラスカルランク条件を満たしていれば、逆多項式誤差内の摂動を受けたバージョンからも、その低ランク分解が一意に回復可能である。
• ロバスト一意性結果により、クラスカルの元々の定理が使われたすべてのモデル（トピックモデル、HMM、ガウス混合モデルなど）において多項式的同定が可能になる。
• 提案されたアルゴリズムは、n^{Oδ(R²)}(nτ/γ)^{Oδ(1)}の時間で実行され、σおよび成分に関して逆多項式の精度で分解を回復する。
• 本手法により、隠れ状態数Rが観測次元nを上回る状況（R > n）においても、標準的な仮定の下では困難であった多項式的サンプル数での効率的学習が可能になる。
• 本研究により、ロバストクラスカルランク条件が同定可能性および効率的学習の十分条件であることが確立され、非退化性条件（例：n ≥ R）の必要性を回避できる。
• 本研究の結果により、従来に比べてはるかに弱い構造的仮定の下でも、潜在変数モデルのための効率的学習アルゴリズムへの道が開かれる。