[論文レビュー] A constructive arbitrary-degree Kronecker product decomposition of tensors

Kim Batselier, Ngai Wong|arXiv (Cornell University)|Jul 31, 2015

Tensor decomposition and applications参考文献 14被引用数 3

ひとこと要約

本稿では、任意の次数 $d$ を持つ $d$ 重テンソル クロネッカー積の線形結合に、実 $k$-ウェイ テンソルを分解する構成的技法であるテンソル クロネッカー積特異値分解（TKPSVD）を紹介する。この手法は、各因子が元のテンソルの構造（対称性、トーペリッツ、ハンケルなど）を保つように設計されており、構造的性質を維持することで、明示的な再構成なしに誤差境界が保証される多スケール近似および圧縮を可能にする。

ABSTRACT

We propose the tensor Kronecker product singular value decomposition~(TKPSVD) that decomposes a real $k$-way tensor $\mathcal{A}$ into a linear combination of tensor Kronecker products with an arbitrary number of $d$ factors $\mathcal{A} = \sum_{j=1}^R σ_j\, \mathcal{A}^{(d)}_j \otimes \cdots \otimes \mathcal{A}^{(1)}_j$. We generalize the matrix Kronecker product to tensors such that each factor $\mathcal{A}^{(i)}_j$ in the TKPSVD is a $k$-way tensor. The algorithm relies on reshaping and permuting the original tensor into a $d$-way tensor, after which a polyadic decomposition with orthogonal rank-1 terms is computed. We prove that for many different structured tensors, the Kronecker product factors $\mathcal{A}^{(1)}_j,\ldots,\mathcal{A}^{(d)}_j$ are guaranteed to inherit this structure. In addition, we introduce the new notion of general symmetric tensors, which includes many different structures such as symmetric, persymmetric, centrosymmetric, Toeplitz and Hankel tensors.

研究の動機と目的

• 任意の次数 $d$ を持つ $k$-ウェイ テンソルをクロネッカー積に分解する一般的で構成的なアルゴリズムの開発。
• 対称、トーペリッツ、ハンケル、中心対称などの構造的テンソルが、クロネッカー積の因子においてもその構造を保つことの証明。
• クロネッカー積項および分解ランクの切断によって、多スケール画像近似と圧縮を可能にする。
• 近似対象を明示的に再構成せずに相対近似誤差を計算するためのフレームワークの提供。
• 対称テンソルの一般化という新概念の導入。これにより、対称、反対称、トーペリッツ、ハンケルなどのさまざまな構造的テンソルタイプが共通の代数的枠組みで統一される。

提案手法

• 元の $k$-ウェイ テンソルを $d$-ウェイ テンソルに再形状・並べ替え、高次特異値分解（HOSVD）を可能にする。
• 再形状されたテンソルに対して、直交ランク1項を用いた多項的分解を適用し、クロネッカー積の成分を抽出する。
• 各因子テンソル $\mathcal{A}^{(i)}_j$ に対して単位フロベニウスノルムを課し、各モード $r$ に対して $\prod_{i=1}^d n^{(i)}_r = n_r$ の次元整合性を確保する。
• 計算の効率化のため、TTr1SVD および HOSVD アルゴリズムを用いる。TTr1SVD は実行時間において優れた性能を示す。
• 最終的な分解を $\mathcal{A} = \sum_{j=1}^R \sigma_j \, \mathcal{A}^{(d)}_j \otimes \cdots \otimes \mathcal{A}^{(1)}_j$ として構築する。ここで $\sigma_j$ は特異値である。
• 元のテンソル $\mathcal{A}$ が一般対称（対称、反対称、トーペリッツ、ハンケルを含む）である場合、各因子 $\mathcal{A}^{(i)}_j$ も同じ対称タイプを継承することを証明する。

実験結果

リサーチクエスチョン

• RQ1 任意の次数 $d$ を持つクロネッカー積分解が、因子における構造の保全を保証できるように構成可能か？
• RQ2 TKPSVD 法が、クロネッカー積成分において、対称性、トーペリッツ、ハンケル形式などの構造的性質を保つのか？
• RQ3 クロネッカー積項および分解ランクの切断が、画像近似の品質および圧縮率に与える影響は何か？
• RQ4 特異値 $\sigma_j$ とフロベニウスノルムにおける相対近似誤差との関係は何か？
• RQ5 トーペリッツやハンケルなどの複数の構造的形態を含む一般化された対称テンソルを統合する統一フレームワークを確立可能か？

主な発見

• 度数5の分解を用い、1項のみを保持した場合、$4000 \times 6000 \times 3$ の画像に対して最大約256の圧縮率を達成する。
• TKPSVDで20項を保持した後、PSNRが30–50 dBの妥当な値に達する。これは約12.8の圧縮率に対応する。
• TTr1SVD アルゴリズムは18秒でTKPSVDを計算した。これはHOSVDの30秒および1枚の画像スライスのSVDの1分を大きく上回る。
• $4000 \times 6000 \times 3$ の画像において、1項近似は解像度 $250 \times 375$、$500 \times 750$、$1000 \times 1500$ でそれぞれ58 dB、58 dB、57 dBのPSNRを達成した。
• 元のテンソルが対称、反対称、中心対称、トーペリッツ、ハンケル、または一般対称である場合、すべてのクロネッカー積因子が同じ構造を継承することが保証される。
• 相対近似誤差は $\frac{\sqrt{\sigma_{r+1}^2 + \cdots + \sigma_R^2}}{\sqrt{\sigma_1^2 + \cdots + \sigma_R^2}}$ を用いて直接計算可能であり、明示的な再構成なしに誤差制御が可能である。