[論文レビュー] Tensor Completion via Tensor QR Decomposition and $L_{2,1}$-Norm Minimization

Yongming Zheng, An-Bao Xu|arXiv (Cornell University)|Nov 9, 2020

Tensor decomposition and applications参考文献 25被引用数 4

ひとこと要約

本稿では、テンソル特異値分解（t-SVD）の代わりに新規のテンソルQR分解に基づく近似t-SVD（CTSVD-QR）を採用し、テンソル核ノルムの代わりにテンソル$L_{2,1}$-ノルムの最小化を用いる、高速かつ高精度なテンソル補完手法TLNM-TQRを提案する。この手法は、計算速度を向上させつつ、動画およびカラー画像データセットにおける回復精度を競争力のある水準で維持し、最先端のアルゴリズム（ADMM-t-SVD）を上回る速度性能を達成している。

ABSTRACT

In this paper, we consider the tensor completion problem, which has many researchers in the machine learning particularly concerned. Our fast and precise method is built on extending the $L_{2,1}$-norm minimization and Qatar Riyal decomposition (LNM-QR) method for matrix completions to tensor completions, and is different from the popular tensor completion methods using the tensor singular value decomposition (t-SVD). In terms of shortening the computing time, t-SVD is replaced with the method computing an approximate t-SVD based on Qatar Riyal decomposition (CTSVD-QR), which can be used to compute the largest $r \left(r>0 ight)$ singular values (tubes) and their associated singular vectors (of tubes) iteratively. We, in addition, use the tensor $L_{2,1}$-norm instead of the tensor nuclear norm to minimize our model on account of it is easy to optimize. Then in terms of improving accuracy, ADMM, a gradient-search-based method, plays a crucial part in our method. Numerical experimental results show that our method is faster than those state-of-the-art algorithms and have excellent accuracy.

研究の動機と目的

• テンソル補完におけるテンソル特異値分解（t-SVD）の高い計算コストがスケーラビリティと速度を制限する問題に対処すること。
• 近似t-SVDの計算にQR分解を活用することで、t-SVDの代替となるより高速な手法（CTSVD-QR）を開発すること。
• テンソル核ノルムの代わりに、より最適化が容易なテンソル$L_{2,1}$-ノルムを導入し、計算効率を向上させること。
• CTSVD-QRと$L_{2,1}$-ノルム最小化を統合した包括的なフレームワークを設計し、効率的かつ高精度なテンソル補完を実現すること。
• 合成データおよび実世界のデータ（動画およびカラー画像回復を含む）を用いて、欠損率やテンソルサイズの変動に応じた提案手法の妥当性を検証すること。

提案手法

• 計算コストの高いt-SVDに代わる、テンソルQR分解を用いて反復的に最大$r$個の特異値（チューブ）およびそれに対応する特異ベクトル（チューブ）を計算するCTSVD-QRを提案。
• 各チューブの$L_2$-ノルムの和として定義される新しいテンソル$L_{2,1}$-ノルムを導入。これはチューブランクの凸な代替関数として機能し、テンソル核ノルムよりも最適化が容易である。
• テンソル核ノルムがテンソル$L_{2,1}$-ノルムの下界であることを確立し、低ランクテンソル近似においてその代替としての有効性を裏付ける。
• ADMM最適化フレームワークの下でCTSVD-QRと$L_{2,1}$-ノルム最小化を統合し、テンソル補完問題を解くTLNM-TQRアルゴリズムを構築。
• ADMMを用いて得られる部分問題を効率的に解くことで、多様なテンソル構造にわたる高速収束と安定した性能を実現。
• 制約付き最適化モデル：$\min_{\mathcal{X}} \|\mathcal{X}\|_{2,1} \text{ s.t. } \mathcal{X}_{i,j,k} = \mathcal{M}_{i,j,k}, (i,j,k) \in \Omega$ を用いて、テンソル補完を実装。ここで$\mathcal{M}$は観測された不完全なテンソルである。

実験結果

リサーチクエスチョン

• RQ1 t-SVDのQRベースの近似は、伝統的なt-SVDよりも著しく高速でありながら、テンソル補完の精度を維持できるか？
• RQ2 テンソル$L_{2,1}$-ノルムは、テンソル核ノルムよりもチューブランクの効率的かつ効果的な凸な代替関数として機能するか？
• RQ3 CTSVD-QRと$L_{2,1}$-ノルム最小化の組み合わせは、最先端の手法を上回るより高速かつ高精度なテンソル補完アルゴリズムを実現できるか？
• RQ4 本手法は、動画および画像回復などの実世界の応用において、欠損率やテンソル次元が変化する条件下でも性能を発揮するか？
• RQ5 本手法は、動画シーケンスやカラー画像などの高次元テンソルデータに応用された場合、ロバストでスケーラブルであるか？

主な発見

• カラー画像回復において、TLNM-TQRは平均2.4336秒の実行時間を達成し、ADMM-t-SVD（22.8229秒）およびHoMP（24.1802秒）を大きく上回る高速性を示した。
• 50%欠損の動画データセットにおいて、TLNM-TQRはRMSEが11.0136を維持し、ADMM-t-SVD（12.2161）にほぼ匹敵し、HoMPおよびELRAP4TSを上回った。
• 前向スライス数を2から40に増加させた動画回復において、TLNM-TQRは他の手法と比較して実行時間の増加率が遅く、優れたスケーラビリティを示した。
• ガウスノイズおよびぼかしノイズを加えたカラー画像回復において、TLNM-TQRは平均RMSEが22.1667と最低を記録し、ADMM-t-SVD（19.7492）およびHoMP（17.1329）を精度面で上回った。
• 30%から90%までの異なる欠損率において一貫した性能を示し、高い精度と低遅延を維持した。50回の繰り返し実験においても結果の分散が最小限に抑えられ、安定性が確認された。
• 数値実験により、CTSVD-QRはt-SVDに比べて反復処理時間を顕著に短縮することが確認され、$L_{2,1}$-ノルムが最適化をより迅速に可能にした。これにより、フレームワークの中心的設計選択が正当化された。