[論文レビュー] Symmetric Orthogonal Tensor Decomposition is Trivial

Tamara G. Kolda|arXiv (Cornell University)|Mar 4, 2015

Tensor decomposition and applications参考文献 7被引用数 25

ひとこと要約

本稿では、要因行列がフルランクであり、かつテンソルスライスの正定値線形結合が存在する場合に、問題を $n \times n$ 対称行列固有値問題に還元することで、対称直交テンソル分解を計算する新規手法を提案する。この手法は、反復的手法（例：テンソルパワー法）を上回り、特にノイズのない状況下で、正確かつ効率的な解法を提供する。

ABSTRACT

We consider the problem of decomposing a real-valued symmetric tensor as the sum of outer products of real-valued, pairwise orthogonal vectors. Such decompositions do not generally exist, but we show that some symmetric tensor decomposition problems can be converted to orthogonal problems following the whitening procedure proposed by Anandkumar et al. (2012). If an orthogonal decomposition of an $m$-way $n$-dimensional symmetric tensor exists, we propose a novel method to compute it that reduces to an $n imes n$ symmetric matrix eigenproblem. We provide numerical results demonstrating the effectiveness of the method.

研究の動機と目的

• 任意の対称テンソルに対して一般には存在しない対称直交テンソル分解を計算する課題に対処すること。
• Anandkumarら（2012年）のホワイトニングに基づく変換手法を、直交的でないがフルカラムランクを満たす要因行列に一般化すること。
• 標準的な対称固有値問題に還元される直接的かつ反復的でない対称直交テンソル分解手法を開発すること。
• ノイズ下での手法の頑健性、特に摂動によって真のテンソルランクが過小評価される可能性がある状況での性能を評価すること。
• 対称テンソル分解におけるZ固有ペアの計算に対して、反復的パワー法の代替として計算的に効率的な手法を提供すること。

提案手法

• 2次元スライスの線形結合を用いてテンソルにホワイトニング変換を施し、正定値行列 $\mathbf{C}$ を構築することで、要因行列の直交化を可能にする。
• 対称直交テンソル分解問題を、計算的に効率的かつ数値的に安定な $n \times n$ 対称行列固有値問題に還元する。
• 変換された行列の固有値分解を用いて、直交要因行列 $\mathbf{X}^*$ と対応する固有値 $\bm{\lambda}^*$ を回復する。
• この変換が有効であるのは、要因行列 $\mathbf{X}$ がフルカラムランクであり、かつテンソルスライスの正定値線形結合が存在する場合に限る。
• 初期の $\gamma$-値の選択が失敗した場合には、$\gamma$-値のランダムな選択を繰り返し行い、正定値 $\mathbf{C}$ 行列が得られるかを探索する。
• 再構成誤差と解スコアの指標を用いて、正確性と収束性を評価することで、解の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 反復的パワー法よりも、対称直交テンソル分解をより効率的に計算できるか？
• RQ2 非直交的な対称テンソル分解が、ホワイトニングによっていつ直交的になるかの条件は何か？
• RQ3 小さなノイズが存在する状況下で、本手法はどの程度の性能を示すか。特に、真のテンソルランクが摂動によって変化する場合に注目する。
• RQ4 対称直交テンソル分解を標準的な対称固有値問題に還元することの計算的効率性と信頼性は何か？
• RQ5 要因行列がフルランクだが直交的でない場合に、本手法は一貫して正しいランクと因子分解を回復できるか？

主な発見

• 提案手法は、問題を $n \times n$ 対称行列固有値問題に還元することで、条件を満たす場合に正確な解を達成する対称直交テンソル分解を効果的に計算できる。
• ノイズのない状況（$\eta = 0$）では、1000回の実験すべてで正定値 $\mathbf{C}$ 行列が見つかり、解スコア1.0で正しいランクと分解が回復され、100%の成功率を達成した。
• 偶数次テンソル（$m=4,6$）で $\eta=0$ の場合、1000回すべての実行で正確に解が得られ、正定値 $\mathbf{C}$ 行列を求める平均試行回数はわずか1.26回であった。
• 奇数次テンソル（$m=3$）で $\eta=0$ の場合、77%のインスタンスで $\mathbf{C}$ 行列が正定値として見つかり、高い精度で正しい分解が回復された。
• ノイズあり（$\eta=0.01$）では性能が著しく低下した：$m=4,n=25,p=3$ の場合、正定値 $\mathbf{C}$ 行列が見つかったインスタンスはゼロであり、$m=6,n=6,p=4$ の場合、1000回中256回のみ成功し、76%のケースで失敗した。
• ノイズ下での失敗は、ノイズのあるテンソルがランク $p$ よりも高いランクを持つため、要因行列がフルカラムランクを失うことに起因し、手法の仮定が成立しなくなるためである。