[論文レビュー] Rank-1 Tensor Approximation Methods and Application to Deflation

Alex Pereira da Silva, Pierre Comon+1 more|arXiv (Cornell University)|Aug 21, 2015

Tensor decomposition and applications参考文献 27被引用数 9

ひとこと要約

本稿では、三方向テンソルに対する効率的で信頼性の高いランク1近似法として、THOSVDを凌駕する精度と効率性を示す新しい代数的ランク1近似法SeROAPを提案する。また、局所最適解への収束を保証する反復的精錬手法であるCEアルゴリズムを導入する。さらに、デフラッションベースのCP分解（DCPD）の幾何的収束解析を提供し、弱い条件下でも単調な残差低減と正確な再構成を示す。

ABSTRACT

Because of the attractiveness of the canonical polyadic (CP) tensor decomposition in various applications, several algorithms have been designed to compute it, but efficient ones are still lacking. Iterative deflation algorithms based on successive rank-1 approximations can be used to perform this task, since the latter are rather easy to compute. We first present an algebraic rank-1 approximation method that performs better than the standard higher-order singular value decomposition (HOSVD) for three-way tensors. Second, we propose a new iterative rank-1 approximation algorithm that improves any other rank-1 approximation method. Third, we describe a probabilistic framework allowing to study the convergence of deflation CP decomposition (DCPD) algorithms based on successive rank-1 approximations. A set of computer experiments then validates theoretical results and demonstrates the efficiency of DCPD algorithms compared to other ones.

研究の動機と目的

• 特にカノニカル多項式分解（CP分解）に対して、効率的で信頼性の高いランク1近似手法の不足を解消すること。
• ALS や HOSVD などの既存のアルゴリズムが示す、収束性の悪さと高い計算複雑性の限界を克服すること。
• 連続的なランク1近似を活用する、強固な反復的デフラッションフレームワーク（DCPD）を構築すること。
• 幾何的および確率的フレームワークを用いて、DCPDの理論的収束解析を提供すること。
• 最先端の手法と比較して、精度、収束速度、計算複雑性の面で優れた性能を示すこと。

提案手法

• 反復的特異値分解と低順序テンソルへの射影を用いてランク1近似を計算する代数的手法であるSeROAP（Sequential Rank-1 Approximation and Projection）を導入する。
• テンソルのモード1アンフォールディングを用い、主な右特異ベクトルを計算することで、ランク1近似を反復的に精錬する。
• 左および右特異ベクトルの外部積を用いた射影ステップを適用し、ランク1テンソル近似を再構築する。
• 初期ランク1近似を交互に固有値更新することで精錬するCE（Coupled-Eigenvalue）アルゴリズムを提案し、局所最適解への収束を保証する。
• 幾何的フレームワークを用いてデフラッションプロセスを解析し、残差ノルムが単調に減少し、残差が小さな円錐領域に含まれない限り、正確なCP分解が回復可能であることを示す。
• 確率的モデリングを用いて、DCPDの収束行動を分析し、特に一般のテンソル条件下での挙動を検討する。

実験結果

リサーチクエスチョン

• RQ1 三方向テンソルに対して、THOSVDを凌駆する精度と計算複雑性を有するランク1近似法を設計可能か？
• RQ2 ランク1近似に対して、局所最適解への収束を保証する反復的精錬アルゴリズムを構築可能か？
• RQ3 デフラッションベースのCP分解（DCPD）アルゴリズムは、連続的なランク1近似の過程で残差ノルムを単調に減少させるか？
• RQ4 どのような幾何的条件下でDCPDは正確なCP分解を回復可能か？
• RQ5 提案されたCEアルゴリズムの計算複雑性は、特に高次元設定下で標準的なALSと比較してどの程度か？

主な発見

• SeROAPは、三方向テンソルに対してTHOSVDを常に上回るランク1近似を生成し、理論的に優位性が証明されている。
• 大規模な次元と小規模な順序に対して、SeROAPの計算複雑性はTHOSVDに比べて著しく低減される。
• CEアルゴリズムは局所最適解への収束を保証し、SeROAP や THOSVD からの初期ランク1近似を改善可能である。
• 初期値がグローバル解に近い場合、CEは最良のランク1近似を回復可能であり、一方の次元が他の次元に比べて著しく大きい場合には、ALS よりも計算複雑性が低くなる可能性がある。
• DCPDアルゴリズムは、デフラッションプロセス全体を通じて残差ノルムの単調な減少を保証する。
• 残差が任意に小さい体積の円錐領域に含まれない限り、DCPDは正確なCP分解を回復可能であり、弱い条件下でも頑健性を示す。