[論文レビュー] A dual framework for low-rank tensor completion

Madhav Nimishakavi, Pratik Jawanpuria+1 more|arXiv (Cornell University)|Dec 4, 2017

Sparse and Compressive Sensing Techniques参考文献 48被引用数 7

ひとこと要約

本稿では、低ランクテンソル補完のための新しい非スパースな潜在トレースノルム正則化子を提案する。従来のスパースな組み合わせ手法と比較して、マルチモード情報の捉え方を改善できる。双対フレームワークを構築し、多様体上のリーマン最適化を活用することで、動画、高スペクトル画像、レコメンデーションタスクを含む実世界のデータセットにおいて、優れた性能と頑健性を達成した。

ABSTRACT

One of the popular approaches for low-rank tensor completion is to use the latent trace norm regularization. However, most existing works in this direction learn a sparse combination of tensors. In this work, we fill this gap by proposing a variant of the latent trace norm that helps in learning a non-sparse combination of tensors. We develop a dual framework for solving the low-rank tensor completion problem. We first show a novel characterization of the dual solution space with an interesting factorization of the optimal solution. Overall, the optimal solution is shown to lie on a Cartesian product of Riemannian manifolds. Furthermore, we exploit the versatile Riemannian optimization framework for proposing computationally efficient trust region algorithm. The experiments illustrate the efficacy of the proposed algorithm on several real-world datasets across applications.

研究の動機と目的

• 既存の潜在トレースノルム手法がテンソルのスパースな組み合わせを学習するという制限を解消し、高次元のデータ構造を損なわないようにする。
• すべてのテンソルモードにわたる情報のより良い保存を実現する非スパースな組み合わせアプローチを開発する。特に低ランク設定において有効である。
• 最適解の解空間がリーマン多様体のカルテジアン積上に位置することを特徴づける双対フレームワークを提供し、効率的な最適化を可能にする。
• スケーラブルなテンソル補完を実現するため、リーマンスペクトラヒドロン多様体上での計算効率の高い信頼領域アルゴリズムを設計する。
• 最先端の手法と比較して、多様な実世界応用において一般化性能と外れ値に対する頑健性が向上することを示す。

提案手法

• 各 W⁽ᵏ⁾ がモード k で低ランクであると制約された非スパースなテンソルの組み合わせを促進する潜在トレースノルムの変種を提案。正則化項は ∑ₖ ||W⁽ᵏ⁾ₖ||*² で表される。
• 最適解がリーマン多様体のカルテジアン積上に位置することを特徴づける双対フレームワークを導入し、コンactなテンソル表現を可能にする。
• リーマンスペクトラヒドロン多様体上での固定ランク問題として最適化問題を定式化し、多様体構造を活用して計算を効率化する。
• 固定ランク定式化を解くためにリーマン最適化を用いた信頼領域アルゴリズムを開発し、収束性とスケーラビリティを保証する。
• 双対特徴づけを活用してコンact表現を導出し、高次元設定におけるストレージおよび計算コストを削減する。
• 新しい非スパース正則化子を用いたフロベニウスノルム損失の最小化により、テンソル補完を実行し、より良い一般化性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 潜在トレースノルム正則化におけるスパースな組み合わせと比較して、非スパースな低ランクテンソルの組み合わせは、テンソル補完性能を向上させ得るか？
• RQ2 低ランクテンソル補完の解空間は、双対フレームワークを用いてどのように特徴づけられるか？これにより効率的な最適化が可能になるか？
• RQ3 非スパース正則化は、実世界のテンソル補完タスクにおける一般化性能および外れ値に対する頑健性にどのような影響を与えるか？
• RQ4 構造化された多様体（例：スペクトラヒドロン）上でのリーマン最適化は、スケーラブルで効率的なテンソル補完アルゴリズムを可能にするか？
• RQ5 多様なデータセットにおいて、提案手法は再構成誤差および頑健性の観点で最先端のアルゴリズムと比較してどのように差をつけるか？

主な発見

• 提案手法のTR-MMアルゴリズムは、Ribeiraの高スペクトル画像データセットにおいて最良の性能を発揮し、5%のノイズ条件下でRMSEが0.081にまで低下。TR-LS、FFW、HaLRTCを含むすべてのベースラインを上回った。
• FB15k-237のリンク予測データセットにおいて、TR-MMは5%のノイズ条件下でAUCが0.803を達成。Rprecon（0.734）やBayesCP（0.711）を著しく上回った。
• 外れ値に対して優れた頑健性を示した。10%のノイズ条件下で、RibeiraデータセットにおけるRMSEはTR-MMが0.111を維持したが、FFWとHardはそれぞれ0.171および0.258であった。
• 理論的解析により、再構成誤差が (2/λ) × minₖ√nₖ で有界であることが示された。ノイズがゼロに近づくにつれてこの誤差は消滅するため、ノイズ下でも一貫性が保証される。
• 数値実験により、非スパースな組み合わせが、特にマルチモード依存性を捉える際にスパースな代替手法よりも一般化性能に優れていることが確認された。
• リーマン多様体上での信頼領域アルゴリズムはスケーラブルな性能を発揮し、一部のベースラインが収束しない大規模データセットに対しても有効であった。