[論文レビュー] A New Convex Relaxation for Tensor Completion

Bernardino Romera‐Paredes, Massimiliano Pontil|arXiv (Cornell University)|Jul 17, 2013

Sparse and Compressive Sensing Techniques被引用数 108

ひとこと要約

本稿では、テンソルランクのよりタイトな凸包あつらぎを提供する新しい凸緩和法を提案する。標準的なテンソルトレースノルム正則化法を改善し、テンソルランクのよりタイトな凸包近似を実現する。部分勾配に基づく近接作用素を用いた増分乗数法（ADMM）フレームワークを用いることで、合成データおよび実世界のデータセット（ILEAおよびOceanビデオ）において、推定誤差が著しく低減される一方で、計算の実行可能性を維持する。特にテンソルサイズが増加するに従い、その有効性が顕著になる。

ABSTRACT

We study the problem of learning a tensor from a set of linear measurements. A prominent methodology for this problem is based on a generalization of trace norm regularization, which has been used extensively for learning low rank matrices, to the tensor setting. In this paper, we highlight some limitations of this approach and propose an alternative convex relaxation on the Euclidean ball. We then describe a technique to solve the associated regularization problem, which builds upon the alternating direction method of multipliers. Experiments on one synthetic dataset and two real datasets indicate that the proposed method improves significantly over tensor trace norm regularization in terms of estimation error, while remaining computationally tractable.

研究の動機と目的

• テンソルトレースノルム正則化法がテンソルランクのタイトな凸緩和でないという限界を解消すること。
• スペクトルノルムではなくユークリッド球を用いることで、テンソルの低ランク構造をよりよく促進する新しい凸正則化子を開発すること。
• 得られた正則化問題を解くための効率的な最適化アルゴリズムを設計し、計算の実行可能性を保証すること。
• 合成データおよび実世界のテンソル補完タスクにおいて、提案手法をテンソルトレースノルム正則化法と比較して実験的に検証すること。
• 新しい正則化子が多様なデータセットにおいて一貫して低い推定誤差をもたらすことを示すこと。

提案手法

• ユークリッド球に基づく新しいテンソルランクの凸緩和を提案し、理論的にテンソルトレースノルムよりもタイトであることを示す。
• すべての行列化における核ノルムの和を最小化する正則化子を定義し、ユークリッド制約下で低ランク構造を促進する。
• 増分乗数法（ADMM）を用いて正則化最適化問題を解き、問題の効率的分解を可能にする。
• 部分勾配法を用いて提案正則化子の近接作用素を計算し、ADMM収束に不可欠な要素を提供する。
• 2段階の反復的アルゴリズムを導入：1つはテンソル推定値の更新、もう1つは近接作用素による低ランク構造の強制。
• 最小二乗適合項と新しい正則化子の和を最小化することでテンソル補完を実行し、交差検証によるハイパーパrameterチューニングを適用する。

実験結果

リサーチクエスチョン

• RQ1 テンソルトレースノルムはテンソルランクのタイトな凸緩和であり、低ランク解を正確に促進するのか？
• RQ2 ユークリッド球に基づく凸緩和は、トレースノルムに基づくアプローチよりもテンソルランクのよりタイトな近似を提供できるのか？
• RQ3 提案手法は、合成および実世界のテンソル補完タスクにおいて、テンソルトレースノルム正則化法と比較して推定誤差がどのように異なるのか？
• RQ4 テンソルサイズが増加するに従い、提案手法の計算スケーラビリティは既存手法と比較してどの程度向上するのか？
• RQ5 よりタイトな緩和であるにもかかわらず、新しい正則化子は計算効率を維持できるのか？

主な発見

• 提案手法は合成データおよび実世界のデータセットにおいて、テンソルトレースノルム正則化法よりも著しく低い推定誤差を達成しており、ペアドt検定のp値が0.01未満である。
• ILEAデータセットでは、全テストサンプルサイズにおいて、テンソルトレースノルム正則化法よりも一貫的かつ統計的に有意に高い性能を示す。
• Oceanビデオデータセットでは、トレースノルムベースラインを上回る性能を示し、m > 5×10^4のサンプルエントリに対してp値が10^-6未満である。
• 小さなテンソル（p=20）では、提案手法はトレースノルム正則化法の約22.66倍遅いが、p=200に達するとこの比は1.91に低下し、サイズに応じたスケーラビリティの向上が確認される。
• SVD計算（O(p^3)）が提案手法のより高価なステップを上回るようになるため、テンソルサイズが増加するに従い、2つの手法間の実行時間比が低下する。
• 結果から、新しい凸緩和はテンソルトレースノルムよりもテンソルランクのよりタイトな近似であることが確認され、より優れた回復性能をもたらすことが示された。