[論文レビュー] Novel Factorization Strategies for Higher Order Tensors: Implications for Compression and Recovery of Multi-linear Data

Zemin Zhang, Gregory Ely+3 more|arXiv (Cornell University)|Jul 2, 2013

Tensor decomposition and applications参考文献 19被引用数 12

ひとこと要約

本稿では、3次元および4次元動画のような多次元データの圧縮および回復を向上させるために、テンソル特異値分解（t-SVD）に基づく新しいテンソル因子分解戦略を提案する。t-SVDの最適性特性を活用して、著者らはテンソルランクの測定値と、複雑さをペナルティ付けるアルゴリズムを構築し、欠損エントリからの動画回復において優れた性能を示し、従来のベクトル化手法よりも効率的な表現を実現した。

ABSTRACT

In this paper we propose novel methods for compression and recovery of multilinear data under limited sampling. We exploit the recently proposed tensor- Singular Value Decomposition (t-SVD)[1], which is a group theoretic framework for tensor decomposition. In contrast to popular existing tensor decomposition techniques such as higher-order SVD (HOSVD), t-SVD has optimality properties similar to the truncated SVD for matrices. Based on t-SVD, we first construct novel tensor-rank like measures to characterize informational and structural complexity of multilinear data. Following that we outline a complexity penalized algorithm for tensor completion from missing entries. As an application, 3-D and 4-D (color) video data compression and recovery are considered. We show that videos with linear camera motion can be represented more efficiently using t-SVD compared to traditional approaches based on vectorizing or flattening of the tensors. Application of the proposed tensor completion algorithm for video recovery from missing entries is shown to yield a superior performance over existing methods. In conclusion we point out several research directions and implications to online prediction of multilinear data.

研究の動機と目的

• 限られたサンプリング下での多次元データ（3次元および4次元動画など）の効率的表現と再構成の課題に対処すること。
• 多次元データの情報的・構造的複雑さを特徴付ける、テンソルランクに類似した測定値を開発すること。
• 欠損エントリからのテンソル補完のための複雑さペナルティ付きアルゴリズムを提案し、データ回復性能を向上させること。
• t-SVDに基づく手法が、従来のフラットテニングやベクトル化アプローチに比べ、動画圧縮および再構成において優位であることを示すこと。

提案手法

• 本稿では、行列SVDに類似した最適性特性を有する群論的テンソル分解フレームワークとしてのテンソル特異値分解（t-SVD）を採用する。
• t-SVDに基づいて、多次元データ構造の複雑さを定量化するための新しいテンソルランク測定値を構築する。
• 低ランク近似と構造的整合性の両立を図る、複雑さペナルティ付き最適化フレームワークを提案する。
• 特に線形カメラ運動を伴う状況を想定し、テンソルに内在する低ランク構造を活用するため、3次元および4次元動画データに本手法を適用する。
• t-SVDを用いてテンソルをf対角成分、fコア成分、f因子成分に分解し、計算と回復の両面で効率を発揮する。
• 再構成は、核ノルムとデータ適合性項の組み合わせを最小化する凸最適化問題を解くことで実現する。

実験結果

リサーチクエスチョン

• RQ1 t-SVDに基づくテンソル因子分解は、3次元および4次元動画データに対して、従来のベクトル化やフラットテニング手法に比べ、より優れた圧縮効率を達成できるか？
• RQ2 t-SVDから導出されるテンソルランク測定値は、多次元データの構造的・情報的複雑さを効果的に特徴づけられるか？
• RQ3 提案された複雑さペナルティ付きテンソル補完アルゴリズムは、欠損エントリを含む動画の回復において、既存手法をどの程度上回るか？
• RQ4 t-SVDに基づくモデルは、多次元データストリームのオンライン予測タスクにも一般化可能か？

主な発見

• t-SVDに基づく手法は、特に欠損データ率が高い状況下でも、既存のテンソル補完技術に比べ優れた動画回復性能を示した。
• 線形カメラ運動を伴う動画は、t-SVD下で顕著な低ランク構造を示し、従来手法に比べより効率的な圧縮が可能である。
• 提案されたテンソルランク測定値は、多次元データの本質的複雑さを効果的に捉えており、より良いモデル選択と正則化を支援する。
• 複雑さペナルティ付きテンソル補完アルゴリズムは、複数の動画シーケンスにわたり、欠損エントリの再構成において、頑健性と精度を兼ね備えた。
• 本手法は、高次元SVD（HOSVD）および行列ベースの手法に比べ、圧縮効率および再構成忠実度の両面で優れた性能を示した。
• 実験的結果から、t-SVDに基づく表現は、同等の再構成品質を達成するためにより少ない成分数で済むことが示され、データ効率の向上が裏付けられた。