[論文レビュー] Low-rank tensor completion: a Riemannian manifold preconditioning approach

Hiroyuki Kasai, Bamdev Mishra|arXiv (Cornell University)|May 26, 2016

Tensor decomposition and applications参考文献 22被引用数 33

ひとこと要約

本稿では、最小二乗コスト関数と Tucker 分解の対称性に特化した新しい計量を用いて、低ランクテンソル補完のためのリーマン多様体の前処理手法を提案する。構造的対称性と、カスタマイズされたリーマン計量による2次情報を利用することで、非線形共役勾配法および確率的勾配降下法を効率的に実行でき、合成データおよび実世界のデータセットにおいて、精度と耐障害性の面で最先端の手法を上回る性能を発揮する。

ABSTRACT

We propose a novel Riemannian manifold preconditioning approach for the tensor completion problem with rank constraint. A novel Riemannian metric or inner product is proposed that exploits the least-squares structure of the cost function and takes into account the structured symmetry that exists in Tucker decomposition. The specific metric allows to use the versatile framework of Riemannian optimization on quotient manifolds to develop preconditioned nonlinear conjugate gradient and stochastic gradient descent algorithms for batch and online setups, respectively. Concrete matrix representations of various optimization-related ingredients are listed. Numerical comparisons suggest that our proposed algorithms robustly outperform state-of-the-art algorithms across different synthetic and real-world datasets.

研究の動機と目的

• 固定されたマルチラインアーランク制約下での低ランクテンソル補完問題に対処すること。
• Tucker 分解における構造的対称性を活用することで最適化の効率を向上させること。
• 問題固有のリーマン計量を用いて2次情報を取り入れることで収束性と耐障害性を向上させること。
• 商多様体上のリーマン最適化を用いてスケーラブルなバッチおよびオンラインアルゴリズムを開発すること。
• 多様なデータセットにおいて、既存の最先端手法を上回るテンソル補完の精度と安定性を達成すること。

提案手法

• 最小二乗コスト関数の構造と Tucker 分解の対称性を組み込んだ、新しいリーマン計量を導入する。
• 低ランクテンソル補完問題を Tucker テンソルの商多様体上の最適化問題として定式化する。
• 勾配、ヘッセ行列、リトラクションを含む、リーマン最適化の具象的行列表現を導出する。
• バッチ処理用の前処理付き非線形共役勾配降下法と、オンライン学習用の確率的勾配降下法を開発する。
• 特化した計量を用いて前処理効果を誘発し、収束速度と安定性を向上させる。
• Manopt ツールボックスに実装し、勾配法および信頼領域法のためのオープンソースコードを提供する。

実験結果

リサーチクエスチョン

• RQ1 リーマン多様体の前処理アプローチは、低ランクテンソル補完における収束性と精度を向上させることができるか？
• RQ2 最小二乗構造と Tucker 対称性を捉える問題固有のリーマン計量は、最適化性能にどのように影響を与えるか？
• RQ3 提案されたフレームワークは、バッチ処理およびオンラインテンソル補完の両方のシナリオを効率的に処理できるか？
• RQ4 多様なデータセットにおいて、本手法は最先端のアルゴリズムと比較して耐障害性とスケーラビリティに優れているか？
• RQ5 構造的前処理は、テンソル補完における収束速度と解の品質にどのような影響を与えるか？

主な発見

• 提案されたリーマン前処理アプローチは、複数の合成および実世界のデータセットにおいて、最先端の手法を一貫して上回る回復精度を達成する。
• 確率的勾配降下法の変種は、オンライン環境でも競争力のある性能を示し、スケーラビリティと耐障害性を実証する。
• 数値実験の結果、geomCG や HaLRTC、TOpt、Latent といったベンチマークと比較して、トレーニングおよびテストセットの両方で優れた収束特性と低い平均二乗誤差を示す。
• 5回の実行において、Airpot Hall データセットで訓練誤差（約 7.21）とテスト誤差（約 7.45）が低く抑えられ、TeCPSGD や OLSTEC を上回る性能を発揮する。
• 特化したリーマン計量は顕著な前処理効果をもたらし、2次情報と対称性を活用することで最適化の効率を向上させる。
• さまざまなサンプリングレート、ノイズレベル、テンソル次元、特に 10,000×10,000×10,000 の大規模インスタンスに対しても、本手法は耐障害性を示す。