[論文レビュー] Fourth-order Tensors with Multidimensional Discrete Transforms

Xiao-Yang Liu, Xiaodong Wang|arXiv (Cornell University)|May 3, 2017

Tensor decomposition and applications参考文献 30被引用数 28

ひとこと要約

本稿では、多次元離散変換を用いた4次テンソルのための新規テンソル空間を提案し、一般化されたSVDおよびQR分解を実現する。数値的安定性が向上し、動画圧縮では3–10 dBの性能向上、1ショット顔認識ではtSVDやCNNと比較して10–20%高い認識率を達成した。

ABSTRACT

The big data era is swamping areas including data analysis, machine/deep learning, signal processing, statistics, scientific computing, and cloud computing. The multidimensional feature and huge volume of big data put urgent requirements to the development of multilinear modeling tools and efficient algorithms. In this paper, we build a novel multilinear tensor space that supports useful algorithms such as SVD and QR, while generalizing the matrix space to fourth-order tensors was believed to be challenging. Specifically, given any multidimensional discrete transform, we show that fourth-order tensors are bilinear operators on a space of matrices. First, we take a transform-based approach to construct a new tensor space by defining a new multiplication operation and tensor products, and accordingly the analogous concepts: identity, inverse, transpose, linear combinations, and orthogonality. Secondly, we define the $\mathcal{L}$-SVD for fourth-order tensors and present an efficient algorithm, where the tensor case requires a stronger condition for unique decomposition than the matrix case. Thirdly, we define the tensor $\mathcal{L}$-QR decomposition and propose a Householder QR algorithm to avoid the catastrophic cancellation problem associated with the conventional Gram-Schmidt process. Finally, we validate our schemes on video compression and one-shot face recognition. For video compression, compared with the existing tSVD, the proposed $\mathcal{L}$-SVD achieves $3\sim 10$dB gains in RSE, while the running time is reduced by about $50\%$ and $87.5\%$, respectively. For one-shot face recognition, the recognition rate is increased by about $10\% \sim 20\%$.

研究の動機と目的

• 多次元離散変換に基づく新しい積演算を定義することで、従来の行列代数を4次テンソルへ拡張すること。
• 恒等元、逆元、転置、直交性といった明確に定義された代数的演算を備えた閉じたテンソル空間を確立すること。
• SVDおよびQR分解を4次テンソルへ一般化し、数値的安定性と一意な分解特性を向上させること。
• 実世界の応用、特に動画圧縮および1ショット顔認識において、提案フレームワークの有効性を検証し、既存のテンソルモデルを上回る性能を示すこと。

提案手法

• 多次元離散変換を用いた新しいテンソル積を定義し、行列空間上での双線形演算を可能にする。
• 4次テンソルのための$σ$-SVD分解を導入し、一意な分解を得るための行列SVDよりも強い条件を要する。
• 崩壊的キャンセルを回避するためのハウスホルダーに基づくQRアルゴリズムを提案し、古典的グラム・シュミット法よりも数値的安定性を向上させる。
• 変換領域演算（例：DCT、DWT、FFT）を用いて、テンソル積および分解の効率的計算を実現する。
• $σ$-SVDおよび$σ$-QRを、データを低ランク部分空間に投影することで動画圧縮および1ショット顔認識に適用する。
• 各モードのテンソルに対して異なる変換（例：周期性に適したDCT、スパarsityに適したDWT）を別々に処理できる変換ベースのフレームワークを活用する。

実験結果

リサーチクエスチョン

• RQ1 4次テンソルに対して、SVDやQRといった標準的な線形代数演算をサポートする閉じたテンソル空間を構築できるか？
• RQ2 多次元離散変換を用いて、一貫性があり安定したテンソル積演算を定義できるか？
• RQ3 行列の場合と比較して、4次テンソルの場合に$σ$-SVDが一意な分解を提供するための条件は何か？
• RQ4 提案された$σ$-QRアルゴリズムは、テンソル分解における数値的安定性において、古典的グラム・シュミット法を上回れるか？
• RQ5 $σ$-SVDフレームワークは、tSVDやCNNと比較して、動画圧縮および1ショット顔認識の性能をどの程度向上できるか？

主な発見

• 提案された$σ$-SVDは、既存のtSVDと比較して、動画圧縮における再構成誤差（RSE）で3–10 dBの向上を達成した。
• $σ$-SVDの実行時間は、tSVDと比較して50%～87.5%短縮され、顕著な計算効率の向上を示した。
• 1ショット顔認識において、DWTを用いた$σ$-SVDは、複数のテストケースでCNNを13–23%上回る認識率最大91.6%を達成した。
• DCTに基づく$σ$-SVDは、大多数の設定でtSVDおよびCNNと比較して、認識精度を5–10%向上させた。
• ハウスホルダーに基づく$σ$-QRアルゴリズムは、崩壊的キャンセルを効果的に回避し、古典的グラム・シュミット法よりも高い数値的安定性を確保した。
• フレームワークにより、モード固有の変換（例：周期性に適したDCT、スパarsityに適したDWT）が可能となり、物理的解釈可能性と実応用における性能が向上した。