[論文レビュー] Riemannian preconditioning for tensor completion

Hiroyuki Kasai, Bamdev Mishra|arXiv (Cornell University)|Jun 6, 2015

Tensor decomposition and applications参考文献 21被引用数 9

ひとこと要約

本稿では、目的関数の最小二乗構造と Tucker トランスフォーメーション分解における対称性を活用する新しい計量を用いて、低ランクテンソル補完のためのリーマン的プリコンディショニング手法を提案する。問題を商多様体上のリーマン最適化フレームワークに埋め込むことで、収束速度と精度の両面で最先端手法を上回るプリコンディショニング非線形共役勾配法を実現した。

ABSTRACT

We propose a novel Riemannian preconditioning approach for the tensor completion problem with rank constraint. A Riemannian metric or inner product is proposed that exploits the least-squares structure of the cost function and takes into account the structured symmetry in Tucker decomposition. The specific metric allows to use the versatile framework of Riemannian optimization on quotient manifolds to develop a preconditioned nonlinear conjugate gradient algorithm for the problem. To this end, concrete matrix representations of various optimization-related ingredients are listed. Numerical comparisons suggest that our proposed algorithm robustly outperforms state-of-the-art algorithms across different problem instances encompassing various synthetic and real-world datasets.

研究の動機と目的

• 既知または推定されたランクをもつ固定マルチラインアーランク制約下での低ランクテンソル補完問題に対処すること。
• Tucker分解に内在する対称性と目的関数の最小二乗性を活用して最適化の効率を向上させること。
• 問題固有のリーマン計量を用いたリーマン的プリコンディショニングフレームワークを構築し、テンソル補完における収束性を向上させること。
• 実装のための具体的な行列表現を提供すること。
• 多様な合成および実世界のテンソル補完ベンチマークで優れた性能を示すこと。

提案手法

• 目的関数の最小二乗構造から得られる二階微分情報と、Tucker分解の構造的対称性を尊重する新しいリーマン計量を構築する。
• Tuckerテンソルの商多様体上で最適化を定式化し、Tucker成分の非一意性を活用してリーマン構造を定義する。
• この計量を用いて、リーマン勾配、ヘッセ行列、再帰写像の明示的行列表現を備えたプリコンディショニング非線形共役勾配法を開発する。
• アルゴリズムは Manopt ツールボックスに実装され、収束を保証するためのラインサーチ戦略を用いる。
• 高スペクトル画像および MovieLens-10M データセットを含む合成テンソルおよび実世界データセットで検証を行う。
• 目的関数のヘッセ行列近似からリーマン的プリコンディショニングを導出し、探索方向における曲率情報の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 リーマン的プリコンディショニングフレームワークは、テンソル補完における収束速度と精度を向上させることができるか？
• RQ2 Tucker分解の対称性をどのように活用して、問題固有のリーマン計量を設計できるか？
• RQ3 目的関数の最小二乗構造をリーマン計量に組み込むことで、最適化性能が向上するか？
• RQ4 提案手法は多様なテンソル補完ベンチマークにおいて、最先端手法と比較してどのように差をつけるか？
• RQ5 提案手法は大規模かつスパースなテンソル補完問題に効果的にスケーリングできるか？

主な発見

• Ribeira の高スペクトル画像データセットにおいて、提案手法は geomCG よりも顕著に低いテスト平均二乗誤差 (MSE) を達成し、OS=11 時に MSE 8.2095×10⁻⁴、OS=22 時に 6.9516×10⁻⁴ を記録した。一方 geomCG はそれぞれ 3.8342×10⁻¹ および 6.2590×10⁻³ を示した。
• 観測エントリが 0.002% の MovieLens-10M データセットにおいて、全テストランクで geomCG よりも低いテストMSEを達成し、ランク (4,4,4) 時に 0.6762±1.5×10⁻³ の最良性能を記録した。
• すべてのテストされた合成テンソルインスタンスにおいて、提案手法は geomCG よりも高速に収束した。特にサイズ 1000×1000×10000、ランク (7,6,6)、(10,5,5)、(15,4,4) の大規模テンソルに対しても同様の傾向を示した。
• Ribeira ケース（観測率 5%、OS=11）において、提案手法は 33±13 秒でテストMSE 8.2095×10⁻⁴ を達成した。一方 geomCG は 36±14 秒を要し、はるかに高いMSEを示した。
• Ribeira および MovieLens-10M ベンチマークの両方で、提案手法は HaLRTC、TOpt、Latent、Hard と比較して一貫して低いテストMSEを達成し、多様なデータタイプおよびスパarsityレベルにおいて高いロバスト性を示した。
• アルゴリズムは強力なスケーラビリティを示し、最大の MovieLens-10M タスク（ランク (10,10,10)）を 32,802±52 秒で完了し、テストMSE 1.0107×10⁻² を達成した。geomCG よりも時間的・精度的両面で優れた性能を示した。