[論文レビュー] Rank Minimization on Tensor Ring: A New Paradigm in Scalable Tensor Decomposition and Completion

Longhao Yuan, Chao Li+3 more|arXiv (Cornell University)|May 22, 2018

Tensor decomposition and applications参考文献 1被引用数 7

ひとこと要約

本稿では、テンソルリング（TR）分解に基づく新規なテンソル補完フレームワークを提案する。このフレームワークは、TR要因における凸な代替関数を用いてランクを最小化することで、大規模な特異値分解（SVD）を回避しつつ、効率的な低ランクモデリングを実現する。ADMMを用いて解くTR-OLRFおよびTR-LLRFモデルは、合成データおよび実世界のデータにおいて高い精度と効率性を達成し、ランク選択およびハイパーパrameterに強く、安定性を示す。

ABSTRACT

In low-rank tensor completion tasks, due to the underlying multiple large-scale singular value decomposition (SVD) operations and rank selection problem of the traditional methods, they suffer from high computational cost and high sensitivity of model complexity. In this paper, taking advantages of high compressibility of the recently proposed tensor ring (TR) decomposition, we propose a new model for tensor completion problem. This is achieved through introducing convex surrogates of tensor low-rank assumption on latent tensor ring factors, which makes it possible for the Schatten norm regularization based models to be solved at much smaller scale. We propose two algorithms which apply different structured Schatten norms on tensor ring factors respectively. By the alternating direction method of multipliers (ADMM) scheme, the tensor ring factors and the predicted tensor can be optimized simultaneously. The experiments on synthetic data and real-world data show the high performance and efficiency of the proposed approach.

研究の動機と目的

• 従来のテンソル補完手法における高い計算コストとランクへの感受性を解消する。
• シュターンノルムに基づくテンソル補完における指数的SVD計算量の問題を克服する。
• テンソルリング（TR）分解の圧縮性を活用し、スケーラブルな低ランクモデリングを実現する。
• 事前にテンソルランクを指定せずに、ロバストで効率的なテンソル補完フレームワークを開発する。
• TR要因における凸正則化を用いて、効果的なテンソル補完を実現する。

提案手法

• 直接的なテンソルランク最小化の代わりに、潜在的テンソルリング（TR）要因における低ランク仮定の凸代替関数を導入する。
• TR要因におけるシュターンノルム正則化を目的とした2つのモデル、TR-OLRF（重複）およびTR-LLRF（潜在的）を定式化する。
• テンソルリング（TR）要因と予測テンソルを同時に最適化するため、交替方向増分乗数法（ADMM）を適用する。
• TR要因に構造的シュターンノルムを適用することで、計算コストを低減しつつスケーラブルな最適化を実現する。
• ADMMフレームワーク下で、TR要因と再構築テンソルを交互に反復的に最適化する。
• 安定性と性能を確保するため、体系的なチューニング手順（アルゴリズム1および2）を用いてハイパーパrameterを設定する。

実験結果

リサーチクエスチョン

• RQ1 大規模なSVD操作を伴わずに、効率的な低ランクテンソル補完が可能か？
• RQ2 TR要因における凸正則化が、直接的なテンソルランク最小化を置き換えつつも、精度を維持できるか？
• RQ3 欠損率やテンソル次数が変化する条件下で、本手法の性能はどのように変化するか？
• RQ4 ランク選択およびハイパーパrameterチューニングに対して、本手法はロバストか？
• RQ5 TRベースのモデルは、既存の最先端のテンソル補完アルゴリズムを上回る性能を示せるか？

主な発見

• 提案されたTR-OLRFおよびTR-LLRFアルゴリズムは、すべての欠損率において合成テンソルで最小のRSE値を達成し、4つの最先端手法を上回った。
• 4次および6次合成テンソルにおいて、90％の欠損率下でもRSEが0.05未満を維持し、高いロバスト性を示した。
• 90％の欠損エントリを有するハイ hyperspectral 画像において、TR-OLRFおよびTR-LLRFはRSEが0.0677および0.0681を達成し、TT-SiLRTC（0.4572）およびBCPF（0.3750）を著しく下回った。
• TRランク選択に対してアルゴリズムはロバストであった：真の値に近いSSRを用いた場合、RSEは安定していた。過小または過大に推定しても性能の著しい低下は見られなかった。
• ハイパーパrameter λに対してもロバストであった：合成実験において3つの異なるλ値に対して、RSEは低く安定していた。
• TR-OLRFおよびTR-LLRFは、TR-ALSよりも同等または優れた結果を達成したが、実行時間は1891秒の半分以下（756秒および988秒）で、優れた効率性を示した。