[論文レビュー] Higher-dimension Tensor Completion via Low-rank Tensor Ring Decomposition

Longhao Yuan, Jianting Cao+2 more|arXiv (Cornell University)|Jul 3, 2018

Tensor decomposition and applications参考文献 16被引用数 16

ひとこと要約

本稿では、勾配降下法を用いてTRコアテンソルを最適化し、高次元テンソルの欠損エントリを予測する低ランクテンソルリング（TR）分解に基づくテンソル補完手法TR-WOPTを提案する。この手法は、特に高い欠損率（例：90％以上）の状況下でも最先端の性能を達成しており、FaLRTC、TT-WOPT、FBCPなどの既存手法を上回っている。

ABSTRACT

The problem of incomplete data is common in signal processing and machine learning. Tensor completion algorithms aim to recover the incomplete data from its partially observed entries. In this paper, taking advantages of high compressibility and flexibility of recently proposed tensor ring (TR) decomposition, we propose a new tensor completion approach named tensor ring weighted optimization (TR-WOPT). It finds the latent factors of the incomplete tensor by gradient descent algorithm, then the latent factors are employed to predict the missing entries of the tensor. We conduct various tensor completion experiments on synthetic data and real-world data. The simulation results show that TR-WOPT performs well in various high-dimension tensors. Furthermore, image completion results show that our proposed algorithm outperforms the state-of-the-art algorithms in many situations. Especially when the missing rate of the test images is high (e.g., over 0.9), the performance of our TR-WOPT is significantly better than the compared algorithms.

研究の動機と目的

• 特に極端な欠損率下でも、欠損エントリを有する高次元テンソルの補完という課題に取り組む。
• テンソルリング（TR）分解の高い圧縮性と柔軟性を活用し、データ表現の質と補完精度を向上させる。
• TRコアテンソルを勾配降下法で直接最適化する微分可能最適化フレームワークを構築し、欠損エントリの回復を改善する。
• 特に高いデータ損失が生じる状況下で、既存のテンソル補完手法に比べTR-WOPTの優位性を実証する。
• テンソル次元数の影響を調査し、高次元テンソル化が結果を向上させることを示す。

提案手法

• テンソルリング（TR）分解の潜在的要因に関する最適化問題としてテンソル補完を定式化し、観測済みエントリからTRコアテンソルを学習する。
• 観測エントリと予測値の再構成誤差を最小化する勾配ベースの最適化戦略（勾配降下法）を用いる。
• 最適化の目的関数として、観測エントリ上での最小二乗誤差を最小化するものとし、明示的なランク正則化は導入しない。
• TR分解を用いて不完全なテンソルを低ランクコアテンソルの系列として表現し、効率的なパrameterizationと高次元モデリングを可能にする。
• 実験ではTRランクを手動で調整し、最適な性能は適切なランク選択に依存することに注意する。
• 最適化中に勾配を効率的に計算するために、行列化（matricization）およびテンソル畳み込み（tensor contraction）演算を用いる。

実験結果

リサーチクエスチョン

• RQ1 高次元および高い欠損率下において、既存の低ランクテンソルモデルに比べ、テンソルリング分解がより正確なテンソル補完を可能にするか？
• RQ2 さまざまな欠損パターン下で、FaLRTC、TT-WOPT、FBCPなどの最先端テンソル補完アルゴリズムと比較してTR-WOPTの性能はどの程度か？
• RQ3 3次元から5次元にテンソル次元数を増加させることで、TR-WOPTの補完性能は向上するか？
• RQ4 従来の低ランク行列またはテンソル手法が失敗するような極端な欠損率（例：90–99％）において、TR-WOPTはどれほど頑健か？
• RQ5 明示的な核ノルムまたはランク最小化を用いずに、TRコアの勾配ベース最適化が欠損エントリを効果的に回復できるか？

主な発見

• TR-WOPTは、FaLRTC、TT-WOPT、CP-WOPT、FBCPをすべて上回り、特に高い欠損率（例：0.9–0.99）下での画像補完タスクで顕著な優位性を示しており、RSEは低く、PSNRは高い。
• 欠損率が0.99の場合、TR-WOPTはRSE = 0.398、PSNR = 12.59を達成するが、FaLRTCは急激に性能を落とし、RSE = 0.942、PSNR = 5.099となる。
• 70％のエントリが欠損した「Lena」画像において、5次元テンソル化とTRランク48を用いた場合、TR-WOPTが最良の性能を発揮し、RSE = 0.0227、PSNR = 37.17を達成した。
• アルファベット、スクラッチ、ブロック、ライン、ランダムな欠損パターンの多様なパターンにおいて、TR-WOPTは安定した性能を維持し、競合手法よりも常に低いRSEを示した。
• この手法は優れた一般化性能を示しており、ブロックやライン欠損パターン下でもFBCPやCP-WOPTを大きく上回った。
• 本研究では、高次元テンソル化（例：5次元）がデータ構造の表現を向上させ、特に高いTRランクと組み合わせることで補完精度が向上することを確認した。