[論文レビュー] Tensor-Tensor Products for Optimal Representation and Compression

Misha E. Kilmer, Lior Horesh+2 more|arXiv (Cornell University)|Dec 31, 2019

Tensor decomposition and applications参考文献 21被引用数 5

ひとこと要約

本稿では、高次元データの最適な低ランク近似および圧縮のため、テンソル-テンソル積に基づく切り捨て特異値分解（t-SVDM および t-SVDMII）を提案する。理論的および数値的実験により、行列に基づく行列化（matricization）に比べ、テンソルベースの表現が圧縮効率および近似精度において優れていることを示し、実験では最大22.73倍の圧縮比と0.045の相対誤差を達成した。

ABSTRACT

In this era of big data, data analytics and machine learning, it is imperative to find ways to compress large data sets such that intrinsic features necessary for subsequent analysis are not lost. The traditional workhorse for data dimensionality reduction and feature extraction has been the matrix SVD, which presupposes that the data has been arranged in matrix format. Our main goal in this study is to show that high-dimensional data sets are more compressible when treated as tensors (aka multiway arrays) and compressed via tensor-SVDs under the tensor-tensor product structures in (Kilmer and Martin, 2011; Kernfeld et al., 2015). We begin by proving Eckart Young optimality results for families of tensor-SVDs under two different truncation strategies. As such optimality properties can be proven in both matrix and tensor-based algebras, a fundamental question arises: does the tensor construct subsume the matrix construct in terms of representation efficiency? The answer is yes, as shown when we prove that a tensor-tensor representation of an equal dimensional spanning space can be superior to its matrix counterpart. We then investigate how the compressed representation provided by the truncated tensor-SVD is related both theoretically and in compression performance to its closest tensor-based analogue, truncated HOSVD (De Lathauwer et al., 2000; De Lathauwer and Vandewalle, 2004), thereby showing the potential advantages of our tensor-based algorithms. Finally, we propose new tensor truncated SVD variants, namely multi-way tensor SVDs, provide further approximated representation efficiency and discuss under which conditions they are considered optimal. We conclude with a numerical study demonstrating the utility of the theory.

研究の動機と目的

• 高次元データの圧縮において、テンソル-テンソル積構造下でのテンソルSVDの理論的最適性を確立すること。
• 長年の疑問である、テンソルベースの表現が表現効率の面で行列ベースの表現を包含できるかどうかを解明すること。
• 既存の手法（HOSVD や行列SVD）よりも性能を向上させる新しいテンソルベースのSVD変種（t-SVDMII）を開発すること。
• 行列化に比べ、テンソルベースの処理が内在するデータ構造をより良く保ち、より高い圧縮比を実現できることを示すこと。
• 提案手法の理論的保証と、実世界データにおける実証的検証を提供すること。

提案手法

• 本稿では、高次テンソルを低ランク近似に適した形に変換するために、テンソル-テンソル積を適用する t-SVDM および t-SVDMII アルゴリズムを導入する。
• 逆行列をもつ変換行列 M および B（例：DFT行列）を用いてテンソル-テンソル積を定義し、各モードごとに独立して処理を可能にする。
• 変換されたテンソルの前面スライスに経済的SVD（economy SVD）を適用し、エネルギーに基づく切り捨てにより主要な成分を保持する。
• t-SVDMII は、テンソルとその順列の t-SVDM 表現の凸結合を用いることで、ランク最適化によるさらなる圧縮を可能にする。
• このフレームワークにより、テンソル設定下でのEckart-Young最適性の理論的分析が可能となり、切り捨てテンソルSVDがFrobeniusノルムにおいて最良の低ランク近似を達成することを証明する。
• 本手法は、4次テンソルのYaleB顔画像データセット上で数値的に検証され、ピクセル群をテンソルの要素として扱い、提案手法を用いて圧縮された。

実験結果

リサーチクエスチョン

• RQ1 テンソル-テンソル積を用いたテンソルベースの低ランク近似は、行列ベースの行列化に比べ、より優れた圧縮効率および近似精度を達成できるか？
• RQ2 テンソル-テンソル積フレームワークは、表現効率の面で行列SVDを包含できるか？
• RQ3 提案された t-SVDM および t-SVDMII アルゴリズムの性能は、従来の HOSVD や行列SVD に比べ、圧縮比および誤差の観点で優れているか？
• RQ4 異なる切り捨て戦略およびテンソル積構造下での切り捨てテンソルSVDの理論的最適性は何か？
• RQ5 変換行列 M および B は、圧縮を最大化すると同時に近似誤差を最小化するようにどのように設計すべきか？

主な発見

• p=8、q=2、エネルギー許容値 γ=0.994 の条件下で、t-SVDMII は22.73の圧縮比と0.077の相対誤差を達成した。
• 同じデータに対して、γ=0.998 の条件下で t-SVDMII は8.85の圧縮比と0.045の相対誤差を達成し、t-SVDM より両方の指標で優れた性能を示した。
• 提案されたテンソルベースの手法は、行列ベースのSVDに比べて優れた圧縮効率を示し、t-SVDMII はYaleBデータセットで最大22.73倍の圧縮を達成した。
• 理論的分析により、テンソル-テンソル積下での切り捨てテンソルSVDがEckart-Young最適性条件を満たすことが確認され、低ランク近似における最適性が証明された。
• フレームワークは、テンソルベースの表現が行列ベースのものよりも効率的であることを示し、t-SVDMII は t-SVDM や行列SVD よりも低い誤差と高い圧縮比を達成した。
• 本研究は、変換行列 M および B の選定が圧縮性能に顕著に影響することを明らかにした。したがって、最適な結果を得るためには、データに適応した設計が不可欠であると考えられる。