[論文レビュー] Best subspace tensor approximations

Shmuel Friedland, Volker Mehrmann|ArXiv.org|May 27, 2008

Tensor decomposition and applications参考文献 8被引用数 8

ひとこと要約

本稿では、高次テンソルへの低ランクテンソル近似を一般化する、新しい手法であるベスト部分空間テンソル近似（BSTA）を提案する。従来のテンソルランク近似とは異なり、BSTAは部分空間射影を用いることで最小化子の存在を保証し、計算にはSVDに基づくアルゴリズムを採用する。これにより、Tuckerやランクベースのテンソル分解に対する理論的裏付けが強く、収束性が保証された代替手法が得られる。

ABSTRACT

In many applications such as data compression, imaging or genomic data analysis, it is important to approximate a given tensor by a tensor that is sparsely representable. For matrices, i.e. 2-tensors, such a representation can be obtained via the singular value decomposition which allows to compute the best rank $k$ approximations. For $t$-tensors with $t>2$ many generalizations of the singular value decomposition have been proposed to obtain low tensor rank decompositions. In this paper we will present a different approach which is based on best subspace approximations, which present an alternative generalization of the singular value decomposition to tensors.

研究の動機と目的

• d > 2 の d-テンソルに対して、特にランク-k 集合が閉じていない場合に生じる従来のテンソルランク近似における不安定性および最小化子の非存在問題を解決すること。
• 最適な解の存在を保証する、部分空間近似に基づくテンソル用SVDの新しい一般化を提案すること。
• Tucker やコアネル・ポリアドック分解のような既存のテンソル分解手法に対する、数値的に安定で理論的裏付けのある代替手法を提供すること。
• 実用的なBSTA計算を可能にする、行列のSVDに基づく計算アルゴリズムの開発（高コストであるが）。

提案手法

• BSTA は、ランク-k テンソルの集合ではなく、因子空間の部分空間の積内での最良近似としてテンソル近似を定義する。
• この方法は、テンソルの成分空間の部分空間上での最小二乗最小化問題として定式化され、最小化子の存在を保証する。
• 因子空間 $\mathbb{F}^{m_1}, \mathbb{F}^{m_2}, \mathbb{F}^{m_3}$ 上の内積から誘導されるノルムを用いて、近似誤差を定義する。
• アルゴリズムは、テンソルの展開と射影を活用して、一連の行列SVD問題を解くことで、ベスト部分空間近似を計算する。
• 計算効率の向上のため、高速SVD技術とインデックスサブセットのランダムサンプリングを用いることが提案されている。
• 部分空間選択と射影フレームワークを高次元テンソル積へ一般化することで、d-テンソルに対しても同様のアプローチを拡張する。

実験結果

リサーチクエスチョン

• RQ1 ランク-k テンソル集合が閉じていない場合でも、最良近似の存在を保証するテンソル用SVDの一般化を構築できるか？
• RQ2 従来のテンソルランク近似に内在する非閉集合性の問題を回避するように、部分空間に基づくテンソル近似をどのように定式化できるか？
• RQ3 提案されたベスト部分空間テンソル近似と、Tucker やCP分解のような既存のテンソル分解との関係は何か？
• RQ4 標準的なSVDルーチンを用いて、ベスト部分空間近似を効率的に計算できる数値アルゴリズムを設計できるか？
• RQ5 精度と安定性の観点から、提案手法は既存の低ランクテンソル近似手法と比較してどのように性能を発揮するか？

主な発見

• 部分空間積空間の閉性のおかげで、任意のテンソルと任意の部分空間次元に対して、ベスト部分空間テンソル近似（BSTA）は常に存在する。
• ランク-k 近似において $k \geq 2$ 時に最小化子が存在しない問題を回避する理論的裏付けのある代替手法として、BSTA が有効である。
• 適切に部分空間を選べば、BSTA はTucker型近似と同等となるため、既存のテンソル形式と関連づけられる。
• 提案されたアルゴリズムは、展開行列の逐次SVDを用いてBSTAを計算し、数値的安定性と収束性を保証する。
• 計算コストを削減するためのランダム化バージョンとして、高速SVDとインデックスサンプリングを用いた手法が提案されたが、依然として大規模テンソルでは高コストである。
• 3-テンソルのケースを超えて、d-テンソルに対しても自然に一般化可能であり、理論的保証を維持したままのアプローチである。