[論文レビュー] Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion

Longhao Yuan, Chao Li+3 more|arXiv (Cornell University)|Sep 7, 2018

Tensor decomposition and applications参考文献 29被引用数 14

ひとこと要約

本稿では、テンソルリング（TR）分解の潜在空間に核ノルム正則化を適用することで、手動でのTRランク選定を必要とせず、ロバストな低ランクモデリングを可能にする、効率的なテンソル補完手法であるTensor Ring Low-Rank Factors（TRLRF）を提案する。ADMMを用いて小スケールの潜在要因に対してSVDを実行することで、特に高い欠損率およびさまざまなテンソル次数の条件下でも、最先端手法に比べ優れた精度と計算効率を達成する。

ABSTRACT

In tensor completion tasks, the traditional low-rank tensor decomposition models suffer from the laborious model selection problem due to their high model sensitivity. In particular, for tensor ring (TR) decomposition, the number of model possibilities grows exponentially with the tensor order, which makes it rather challenging to find the optimal TR decomposition. In this paper, by exploiting the low-rank structure of the TR latent space, we propose a novel tensor completion method which is robust to model selection. In contrast to imposing the low-rank constraint on the data space, we introduce nuclear norm regularization on the latent TR factors, resulting in the optimization step using singular value decomposition (SVD) being performed at a much smaller scale. By leveraging the alternating direction method of multipliers (ADMM) scheme, the latent TR factors with optimal rank and the recovered tensor can be obtained simultaneously. Our proposed algorithm is shown to effectively alleviate the burden of TR-rank selection, thereby greatly reducing the computational cost. The extensive experimental results on both synthetic and real-world data demonstrate the superior performance and efficiency of the proposed approach against the state-of-the-art algorithms.

研究の動機と目的

• 従来のテンソル補完手法がTRランク選定に対して過敏であることが、計算コストの増大と性能の不安定化を引き起こす問題に対処すること。
• 低ランク制約をデータ空間からより小さなスケールの潜在TR要因空間に移動させることで、計算複雑度を低減すること。
• 真のランクに関する事前知識が不要な状態で、最適なTRランクの学習と欠損テンソル要素の回復を同時に実現する手法を開発すること。
• 特に高い欠損率および高次元テンソルの条件下でも、性能の安定性と効率性を向上させること。

提案手法

• 元のテンソルではなく、潜在TR要因に核ノルム正則化を適用することで、より小さなスケールの行列に対する低ランク制約を可能にする。
• ADMM（交替方向乗数法）を用いて、TR分解の学習と欠損要素の回復を同時に最適化するテンソル補完の最適化問題を定式化する。
• ADMMフレームワークにより、TR要因と回復されたテンソルの効率的で交互な更新が可能となり、計算効率を確保するため、SVDは常に小スケールの潜在要因に限定して実行される。
• 多次元線形ランクとTR要因ランクの間の理論的関連性を確立し、潜在空間における低ランクの暗黙的強制を可能にする。
• 正則化のおかげで、初期TRランク設定が不正確であっても、モデルの誤設定下でも安定した性能を発揮するため、ロバストである。
• 本手法は汎用的であり、TRに限らず他のテンソル分解フレームワークへも容易に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 潜在TR空間に低ランク制約を適用することで、テンソル補完におけるTRランク選定へのロバスト性が向上するか？
• RQ2 大きなテンソル展開ではなく、小スケールの潜在要因に対してSVDを実行することで、計算コストを低減しつつ、精度を維持または向上できるか？
• RQ3 本手法は、最先端のアルゴリズムと比較して、高い欠損率およびさまざまなテンソル次数の条件下でどのように性能を発揮するか？
• RQ4 本手法は、交差検証や事前知識を必要とせずに、最適なテンソルランクを自動的に学習できるか？

主な発見

• TRLRFは、合成データおよび実世界データの全テストケースにおいて、RSEおよびPSNRの観点で最高の性能を達成した。特に高い欠損率（例：0.9および0.95）下で顕著な優位性を示した。
• 高ランク（Rn=12）かつ3次元のハイパースペクトル画像補完において、TRLRFはRSE=0.06548を達成し、TRALS（0.07049）、TRWOPT（0.06695）、FBCP（0.2363）を上回った。
• TRランクを8（低ランク）に設定した場合、TRLRFは安定した性能（RSE=0.1166）を維持したが、TRALSおよびTRWOPTは著しく性能を低下させた。これは、ランクの誤設定に対してもロバストであることを示している。
• 5次元および8次元テンソルにおいて、TRLRFはさまざまなランク設定下でも一貫した性能を維持したが、TRALSおよびTMacはランクの増加に伴い性能が低下した。これは、ベースライン手法に過学習が生じている可能性を示唆している。
• 0.9の欠損率下でも、TRLRFは最高のPSNRと最小のRSEを維持した。視覚的結果から、ハイパースペクトル画像の各チャネルにおける詳細回復が顕著に優れていた。
• 本手法は、テンソル展開への大規模SVD演算を回避することで、計算効率性を示した。代わりに、潜在要因の小スケールSVDに依存している。