[論文レビュー] Mode-wise Tensor Decompositions: Multi-dimensional Generalizations of CUR Decompositions

HanQin Cai, Keaton Hamm+2 more|arXiv (Cornell University)|Mar 19, 2021

Tensor decomposition and applications参考文献 67被引用数 13

ひとこと要約

本稿では、従来の低ランクテンソル近似の代替手段として、効率的で行列化しない非行列化型のモード別テンソルCUR分解、すなわちファイバーCURとチドリCURを導入する。テンソルからファイバーと部分テンソルを直接サンプリングすることで、O(r²n log²d)の計算量を達成し、ハイパースペクトルおよび合成データセットにおいて、競争力ある再構成品質を維持しながら、最先端の手法を著しく上回る速度性能を実現する。

ABSTRACT

Low rank tensor approximation is a fundamental tool in modern machine learning and data science. In this paper, we study the characterization, perturbation analysis, and an efficient sampling strategy for two primary tensor CUR approximations, namely Chidori and Fiber CUR. We characterize exact tensor CUR decompositions for low multilinear rank tensors. We also present theoretical error bounds of the tensor CUR approximations when (adversarial or Gaussian) noise appears. Moreover, we show that low cost uniform sampling is sufficient for tensor CUR approximations if the tensor has an incoherent structure. Empirical performance evaluations, with both synthetic and real-world datasets, establish the speed advantage of the tensor CUR approximations over other state-of-the-art low multilinear rank tensor approximations.

研究の動機と目的

• 行列化を伴わせることなく、テンソルの多次元的構造を保全するテンソルベースのCUR分解を開発すること。
• 低マルチラインアーランクテンソルにおける正確なおよび摂動付きテンソルCUR分解を特徴づけること。
• FiberおよびChidori CURの両変種について、敵対的ノイズおよびガウスノイズの下での理論的誤差境界を確立すること。
• テンソルに非一様構造（incoherent structure）が存在する場合、一様ランダムサンプリングで高品質な近似が十分であることを示すこと。
• 既存の低ランクテンソル近似手法と比較して、テンソルCURの速度および精度の優位性を実験的に検証すること。

提案手法

• ファイバーCUR（ファイバーに沿ってサンプリング、モード1スライス）とチドリCUR（全モードにわたって部分テンソルをサンプリング）の2種類のテンソルCUR変種を提案する。
• テンソルを行列に展開（unfold）することなく、分解中に完全なテンソル構造を保全する非行列化アプローチを採用する。
• コア部分テンソルおよびファイバーの選択に一様ランダムサンプリングを採用し、非一様構造を示すテンソルに対して理論的根拠を提示する。
• 敵対的ノイズおよびガウスノイズの下で、両近似タイプの理論的誤差境界を導出。摂動環境下での安定性を示す。
• マルチラインアーランク制約を用いて、低ランク近似の忠実度を確保。コアテンソルがフルランクのとき、正確な再構成が保証される。
• 理論的保証を伴うランダム化サンプリングを適用。これにより、テンソルサイズに比例しない部分線形実行時間複雑度が達成可能となる。

実験結果

リサーチクエスチョン

• RQ1 テンソルCUR分解を多次元配列に一般化可能か。理論的保証と計算効率を両立できるか。
• RQ2 一様ランダムサンプリングが高精度なテンソルCUR近似をもたらす条件は何か。
• RQ3 敵対的ノイズおよび確率的ノイズの下で、FiberおよびChidori CURの誤差境界はどのように比較されるか。
• RQ4 行列化されたテンソル分解手法と比較して、モード別テンソルCURの計算複雑度はどの程度か。
• RQ5 実世界のデータにおいて、再構成品質を損なわず、高い圧縮速度を達成できるか。

主な発見

• ファイバーCURは、全手法の中で最も高速な実行時間であり、Ribeira、Braga、Ruivaesデータセットでは、それぞれ平均0.29秒、0.26秒、0.31秒の実行時間を記録した。
• チドリCURは優れたSNR性能を示し、同データセットで24.39 dB、18.56 dB、15.84 dBのSNRを達成。HOSVDおよびHOOIを上回った。
• Ruivaesデータセット（例：(65,65,4)の高いテンソルランク）であっても、両テンソルCUR変種が良好な再構成品質を維持した。高ランク構造に対しても強力であることが示された。
• 提案手法は、HOSVDおよびHOOIと比較して2.5倍から3倍の高速化を達成。ファイバーCURは全ベンチマークで最も高速なバージョンであった。
• 視覚的比較により、計算時間が著しく短縮されているにもかかわらず、テンソルCUR分解が最先端手法と同等の画像品質を保った。
• 理論的分析により、テンソルに非一様構造が存在する場合、一様ランダムサンプリングで十分に高精度な近似が達成可能であることが確認され、サンプリング戦略の効率性が裏付けられた。