[論文レビュー] Tensor-Tensor Product Toolbox

Canyi Lu|arXiv (Cornell University)|Jun 17, 2018

Tensor decomposition and applications参考文献 1被引用数 13

ひとこと要約

本論文は、高速フーリエ変換（FFT）を用いた畳み込みに類似した乗算であるt積に基づく、3wayテンソルのためのテンソル演算を効率的に行うためのMATLAB実装であるTensor-Tensor Product Toolboxを紹介する。このツールボックスは、テンソル特異値分解（t-SVD）、テンソル核ノルム、および近接作用素を可能にし、主な貢献としてt-SVDのための効率的アルゴリズムと、テンソル特異値閾値処理（t-SVT）を用いたテンソル低ランク最適化の閉形式解が含まれる。

ABSTRACT

The tensor-tensor product (t-product) [M. E. Kilmer and C. D. Martin, 2011] is a natural generalization of matrix multiplication. Based on t-product, many operations on matrix can be extended to tensor cases, including tensor SVD, tensor spectral norm, tensor nuclear norm [C. Lu, et al., 2018] and many others. The linear algebraic structure of tensors are similar to the matrix cases. We develop a Matlab toolbox to implement several basic operations on tensors based on t-product. The toolbox is available at https://github.com/canyilu/tproduct.

研究の動機と目的

• 3wayテンソルのt積に基づくテンソル代数演算の実用的で効率的な実装を提供すること。
• 計算コストを低く抑えてテンソル特異値分解（t-SVD）とテンソル核ノルムの計算を可能にすること。
• 近接作用素を用いたロバストPCAなどの低ランクテンソル最適化タスクを支援すること。
• 将来のp-wayテンソルへの拡張およびPython実装の基盤を提供すること。

提案手法

• 離散フーリエ変換（DFT）とFFTを用いて効率性を確保する、畳み込みに類似したテンソル乗算であるt積を使用する。
• ブロック巡回行列（bcirc）とブロック対角化（bdiag）行列を用いて、テンソル演算をフーリエ領域における行列演算に帰着させる。
• フーリエ変換されたテンソルの各前面断片にSVDを適用し、逆変換することでt-SVDを計算する。
• FFTと特異値のソフト閾値処理を用いた閉形式解を用いて、テンソル特異値閾値処理（t-SVT）を適用する。
• DFTの対称性（例：共役対称性）を活用して計算を削減し、実数出力を保証する。
• t積フレームワークを用いて、テンソル逆行列、テンソルQR分解、およびテンソルスペクトル／核ノルムのコア演算を実装する。

実験結果

リサーチクエスチョン

• RQ1 t積フレームワークを用いて、どのようにテンソル代数演算を効率的に計算できるか？
• RQ2 3wayテンソルのテンソルSVD（t-SVD）を計算する最も効率的な方法は何か？
• RQ3 低ランクテンソル最適化のため、テンソル核ノルムとその近接作用素を閉形式で計算できるか？
• RQ4 t積を用いて、QR分解やSVDのような行列ベースのアルゴリズムをどのようにテンソルに一般化できるか？
• RQ5 実際の応用において、t積および関連する演算の計算的・数値的性質は何か？

主な発見

• t-SVDアルゴリズムは、FFT変換されたテンソルの各前面断片にSVDを適用し、逆FFTで再構成することで、効率的な計算を達成する。
• テンソル核ノルムは、t-SVD因子分解における最初の前面断片の対角要素の和として計算され、t-SVTによる閉形式の近接作用素が得られる。
• FFTとソフト閾値処理を用いることで、テンソル核ノルムの近接作用素は効率的に計算可能であり、アルゴリズム3（t-SVT）がスケーラブルな解決策を提供する。
• テンソルスペクトルノルムは、テンソルのブロック巡回行列のスペクトルノルムに等しく、両方のノルムはフーリエ変換下で保存される。
• テスト.mが正しさを検証するなど、t-prod、tinv、tsvd、tnn、tqrといった主要なテンソル演算をサポートする。
• 共役対称性を活用することで、数値的安定性と効率性が確保され、冗長な計算が削減される。