[論文レビュー] T-Singular Values and T-Sketching for Third Order Tensors

Liqun Qi, Gaohang Yu|arXiv (Cornell University)|Mar 1, 2021

Tensor decomposition and applications参考文献 17被引用数 13

ひとこと要約

本稿では、テンソルチューブランクとT-SVDを活用して、1回のパスで効率的な低ランク近似を可能にするT特異値とTスケッチングを導入する。本手法は、スペクトルが減少するテンソルにおいて、フルT-SVDと比較して著しく短い実行時間で競争力ある精度を達成する。

ABSTRACT

Based upon the T-SVD (tensor SVD) of third order tensors, introduced by Kilmer and her collaborators, we define T-singular values of third order tensors. T-singular values of third order tensors are nonnegative scalars. The number of nonzero T-singular values is the tensor tubal rank of the tensor. We then use T-singular values to define the tail energy of a third order tensor, and apply it to the error estimation of a tensor sketching algorithm for low rank tensor approximation. Numerical experiments on real world data show that our algorithm is efficient.

研究の動機と目的

• T-SVDに基づく3次テンソルのT特異値を定義し、非負のスカラーとして定めるとともに、その数がテンソルチューブランクに一致することを保証する。
• T特異値を用いてテンソルのテイルエネルギーを定義し、低ランク近似における誤差推定に用いる。
• T積演算を用いたランダム射影により、1パスのテンソルスケッチングアルゴリズムを構築する。
• T特異値とテイルエネルギーを用いて、提案されたスケッチングアルゴリズムの確率的誤差境界を確立する。
• 合成データおよび実世界のデータ（画像や動画を含む）において、本手法の効率性と精度を実証する。

提案手法

• 3次テンソルのT-SVD分解におけるf対角テンソルから導かれる非負スカラーをT特異値として定義する。
• 指定されたランクを超える最小のT特異値の二乗和としてテイルエネルギーを定式化し、近似誤差の上限を求める。
• 2つの独立な標準正規テンソル $χ \in \mathbb{R}^{n\times k\times p}$ および $\mathcal{C} \in \mathbb{R}^{l\times m\times p}$ を用いて、T積により $\mathcal{Y} = \mathcal{A} * \mathcal{B}$ および $\mathcal{W} = \mathcal{C} * \mathcal{A}$ を計算するスケッチテンソルを構築する。
• T直交三角分解 $\mathcal{Y} = \mathcal{Q} * \mathcal{R}$ を実行し、$\mathcal{Q}$ を部分的に直交的とし、$\mathcal{R}$ をf上三角行列とする。
• 最小二乗問題 $\mathcal{X} = (\mathcal{C} * \mathcal{Q})^\dagger * \mathcal{W}$ を解き、中間テンソルを取得する。
• 低ランク近似 $\hat{\mathcal{A}} = \mathcal{Q} * \mathcal{X}$ を再構築し、テンソルチューブランク $k$ を達成する。

実験結果

リサーチクエスチョン

• RQ1 T特異値は、行列特異値フレームワークと整合し、テンソルチューブランクを反映する形で定義可能か？
• RQ2 T特異値に基づくテイルエネルギーを用いることで、低ランクテンソル近似の誤差をどのように推定できるか？
• RQ3 T積演算を用いた1パスのテンソルスケッチングアルゴリズムは、フルT-SVDと同等の近似精度を達成しつつ、著しく低い計算コストで実現可能か？
• RQ4 スペクトルが急激に減少するテンソルにおいて、提案されたTスケッチング手法はrt-SVDアルゴリズムと比較して、精度、実行時間、メモリ効率の面で優れているか？

主な発見

• HDUカラー画像において、Tスケッチングアルゴリズムは $k=200$ 時に相対誤差が $10^{-5}$ 未満、$k=600$ 時に $10^{-8}$ 未満を達成し、高精度な低ランク近似を実現した。
• HDU画像では、$k=200$ 時にPSNRが26.27、$k=600$ 時に38.72に達し、ほぼ無損失圧縮品質を示した。
• フルT-SVDの計算を回避することで、Tスケッチング手法はrt-SVD手法と比較して3〜5倍速く実行され、合成データおよび実世界データの両方で同等の精度を達成した。
• 急速に指数関数的にスペクトルが減少するテンソルでは、$k=30$ で最適な低ランク近似が達成され、速やかな収束を示した。
• 動画データ（144×176×30テンソルを含む）を含むすべてのテストケースにおいて、本手法はrt-SVDと同等の精度を維持しながら、より少ないメモリ使用量と計算量を実現した。
• テイルエネルギーから導かれた確率的誤差境界は、近似誤差を効果的に予測でき、本手法の理論的基盤の妥当性を裏付けた。