[論文レビュー] Singular Values and Eigenvalues of Tensors: A Variational Approach

Lek‐Heng Lim|ArXiv.org|Jul 26, 2006

Tensor decomposition and applications参考文献 6被引用数 10

ひとこと要約

本稿では、行列に用いられるリーマン商の手法を一般化することで、高次元テンソル（次数 ≥3）の固有値および特異値を定義する変分的枠組みを提案する。非負テンソルに対するマルチラインアーライズド・ペロン＝フロベニウス定理の一般化を確立し、非負性および非可約性の条件下で最大固有値に付随する一意な正の固有ベクトルの存在を示す。スケール不変性を保つために、l^k-ノルムを用いた制約を導入する。

ABSTRACT

We propose a theory of eigenvalues, eigenvectors, singular values, and singular vectors for tensors based on a constrained variational approach much like the Rayleigh quotient for symmetric matrix eigenvalues. These notions are particularly useful in generalizing certain areas where the spectral theory of matrices has traditionally played an important role. For illustration, we will discuss a multilinear generalization of the Perron-Frobenius theorem.

研究の動機と目的

• 制約付き変分的アプローチを用いて、行列のスペクトル理論を高次元テンソルへ拡張すること。
• 従来の行列ベースの定義に制限があることから、次数 k ≥ 3 のテンソルに対して意味のある固有値および特異値を定義すること。
• 非負かつ非可約テンソルに対するマルチラインアーライズド・ペロン＝フロベニウス定理を確立すること。
• 次数 k のテンソルに対して l^k-ノルムを用いることで、固有ベクトルおよび特異ベクトルのスケール不変性を保証すること。
• ハイパーグラフ解析、ランク付けシステム、テンソル分解への応用における理論的基盤を提供すること。

提案手法

• テンソル A に関連する多重線形関数を用いて、制約付き変分問題を定式化し、||xᵢ||_p = 1（p > 1）の下で A(x₁,…,xₖ) を最大化する。
• ラグランジュ乗数法を適用して臨界点を導出し、テンソルの一般化固有値および特異値方程式を導出する。
• 固有ベクトルおよび特異ベクトルのスケール不変性を保つために、テンソルの次数 k に対応する l^k-ノルムを制約ノルムとして用いる。
• 対称テンソルに対して一般化固有値方程式 A(I, x*,…,x*) = μ*x*^{k−1} を導出し、一般テンソルに対しては特異値方程式を導出する。
• 連続性および斉次性の議論を用いて、成分関数の振る舞いを分析し、非最適性の仮定の下で矛盾を導く。
• テンソルのブロック分割と多変数多項式関数の成分ごとの解析を用いて、非負性および非可約性の下で正の解の存在を証明する。

実験結果

リサーチクエスチョン

• RQ1 行列のスペクトル理論を、変分的枠組みを用いて高次元テンソルへどのように一般化できるか？
• RQ2 固有ベクトルおよび特異ベクトルのスケール不変性を保つために、どのノルム制約が適切か？
• RQ3 非負かつ非可約テンソルに対して、マルチラインアーライズド版のペロン＝フロベニウス定理は成立するか？
• RQ4 標準的な非負性および非可約性の条件下で、一意な正の固有ベクトルが保証されるか？
• RQ5 p ≠ k である l^p-ノルムを用いてテンソル固有値および特異値を定義した場合、どのような影響があるか？

主な発見

• 任意の非負かつ非可約テンソルに対して、l^k-ノルム制約の下で最大固有値に付随する一意な正の固有ベクトルが存在する。
• 一般化固有値方程式 A(I, x*,…,x*) = μ*x*^{k−1} は、l^k-ノルム制約の下での多重線形関数の臨界点を特徴付ける。
• l^2-ノルムではなく l^k-ノルムを用いることで、次数 k のテンソルに対する固有ベクトルおよび特異ベクトルのスケール不変性が保証される。
• 最小性の仮定に反するように、ある成分がゼロまたは最適でない場合、より良い解が得られることを示す矛盾による証明に依拠している。
• 勾配系の成分関数は非負の多変数多項式であり、非負の入力に対して厳密に単調増加であるため、矛盾の議論が可能になる。
• 古典的ペロン＝フロベニウス定理が高次元テンソルへ一般化され、ハイパーグラフ解析およびランク付けアルゴリズムへの応用を支援する。