[論文レビュー] Subspace power method for symmetric tensor decomposition

Joe Kileel, João M. Pereira|arXiv (Cornell University)|Dec 9, 2019

Tensor decomposition and applications参考文献 67被引用数 9

ひとこと要約

本論文は、偶数階で低ランクの実数テンソルの対称テンソル分解のための高速かつ頑健なアルゴリズムであるサブスぺースパワー法（SPM）を提案する。行列フラットネーション、固有値分解、およびデフラッティングを施した変更版テンソルパワー法を組み合わせることで、最先端の手法と比較して約10倍の高速化を達成しながら、ノイズ下でも精度を維持する。収束性およびグローバル最適性に関する理論的保証も得られており、これはテンソルエントリ数の平方根程度のランクまで有効である。

ABSTRACT

We introduce the Subspace Power Method (SPM) for calculating the CP decomposition of low-rank real symmetric tensors. This algorithm calculates one new CP component at a time, alternating between applying the shifted symmetric higher-order power method (SS-HOPM) to a certain modified tensor, constructed from a matrix flattening of the original tensor; and using appropriate deflation steps. We obtain rigorous guarantees for SPM regarding convergence and global optima for input tensors of dimension $d$ and order $m$ of CP rank up to $O(d^{\lfloor m/2 floor})$, via results in classical algebraic geometry and optimization theory. As a by-product of our analysis we prove that SS-HOPM converges unconditionally, settling a conjecture in [Kolda, T.G., Mayo, J.R.: Shifted power method for computing tensor eigenpairs. SIAM Journal on Matrix Analysis and Applications 32(4), 1095-1124 (2011)]. We present numerical experiments which demonstrate that SPM is efficient and robust to noise, being up to one order of magnitude faster than state-of-the-art CP decomposition algorithms in certain experiments. Furthermore, prior knowledge of the CP rank is not required by SPM.

研究の動機と目的

• 低ランクで偶数階の実数対称テンソルの対称CP分解を計算する高速で頑健なアルゴリズムの開発。
• 特に大規模またはノイズの多いデータセットにおいて顕著な計算ボトルネックを解消すること。
• 現実的なランク条件下で、アルゴリズムの収束性およびグローバル最適性に関する理論的保証の提供。
• 統計的応用のための一般化PCAへの応用を視野に入れた、対称ブロック項分解への拡張。
• 低温学習や潜在変数モデルなど、高ノイズ・高次元設定における実用的導入を可能にする。

提案手法

• 入力の対称テンソルを行列にフラットネーションし、n階テンソルの低次元部分空間を抽出する。
• フラット化されたテンソルに対して行列固有値分解を実行し、ランク1成分をn乗した空間を特定する。
• 部分空間に変更版テンソルパワー法（SS-HOPM）を適用し、個々のランク1成分を回復する。
• デフラッティングを用いて反復的に各成分を抽出し、以降の段階での重複や汚染を回避する。
• 代数幾何学的結果（例えば、三重点線補題、Łojasiewicz不等式）を活用し、収束性および最適性の保証を確立する。
• 一般化PCAの応用を想定した、対称ブロック項分解の計算へのフレームワークの拡張。

実験結果

リサーチクエスチョン

• RQ1 低ランク対称テンソルに対して、既存の手法よりも高速かつより頑健なテンソル分解アルゴリズムを設計可能か？
• RQ2 対称テンソル上でのパワー法に基づくアルゴリズムに対して、収束性およびグローバル最適性に関する理論的保証をどのように確立できるか？
• RQ3 特にテンソルが近似的に低ランクである場合に、加法的ノイズ下での手法の性能はいかがなものか？
• RQ4 サブスぺースベースのアプローチは、一般化PCAや潜在変数モデルへと拡張可能か？
• RQ5 明示的なテンソル構築なしに、暗黙的またはノイズのあるモーメントテンソルへも同様に適応可能か？

主な発見

• SPMは、対称テンソル分解の分野において、最先端のアルゴリズムと比較して約10倍の高速化を達成する。
• 加法的ノイズに対して頑健であり、入力テンソルが正確に低ランクでなくても精度を維持する。
• 理論的解析により、テンソルのランクがエントリ数の平方根程度まで収束性およびグローバル最適性が保証されることを確認した。
• SPMは対称ブロック項分解を効果的に計算でき、一般化PCAのモーメント法への応用を可能にした。
• 数値シミュレーションでは、ランダムリスタートの必要がなく、テストケース全体にわたり安定的かつ信頼性の高い収束を示した。
• ノイズ環境下では、特異値のしきい値設定に感度を示すことが判明したため、今後の研究では最適なスリミング則の設計が重要である。