[論文レビュー] Max-Norm Optimization for Robust Matrix Recovery

Ethan X. Fang, Han Liu+2 more|arXiv (Cornell University)|Sep 24, 2016

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、任意の非一様なサンプリングスキーム下でも頑健な低ランク行列回復を実現する、ハイブリッド核ノルムおよび最大ノルム正則化最適化手法を提案する。非一様サンプリングに対応するための最大ノルム正則化と、低ランク構造を促進するための核ノルム正則化を組み合わせることで、高速な収束速度を達成し、新規なADMMアルゴリズムにより効率的な計算が可能となり、実用的で非一様な設定において、標準的な核ノルム手法を顕著に上回る性能を発揮する。

ABSTRACT

This paper studies the matrix completion problem under arbitrary sampling schemes. We propose a new estimator incorporating both max-norm and nuclear-norm regularization, based on which we can conduct efficient low-rank matrix recovery using a random subset of entries observed with additive noise under general non-uniform and unknown sampling distributions. This method significantly relaxes the uniform sampling assumption imposed for the widely used nuclear-norm penalized approach, and makes low-rank matrix recovery feasible in more practical settings. Theoretically, we prove that the proposed estimator achieves fast rates of convergence under different settings. Computationally, we propose an alternating direction method of multipliers algorithm to efficiently compute the estimator, which bridges a gap between theory and practice of machine learning methods with max-norm regularization. Further, we provide thorough numerical studies to evaluate the proposed method using both simulated and real datasets.

研究の動機と目的

• 共同フィルタリングのような実世界の応用で一般的に見られる非一様サンプリング下での行列補完における核ノルム正則化の限界を是正すること。
• 非一様または未知のサンプリング条件下でも効果を発揮する頑健な行列回復手法を開発し、制限的な一様サンプリング仮定を緩和すること。
• 最大ノルム正則化の理論的利点と実用的計算可能性のギャップを埋めるために、収束保証を伴うスケーラブルなアルゴリズムを設計すること。
• 合成および実世界のデータセットを用いた実験的検証を通じて、提案手法が核ノルムおよび最大ノルムベースラインを上回ることを示すこと。

提案手法

• 低ランク構造の促進と非一様サンプリングに対する頑健性の両立を図るため、核ノルムと最大ノルム正則化を組み合わせたハイブリッド最適化推定器を提案する。
• 制約付き最適化フレームワークを採用：残差誤差のフロベニウスノルムに制約を課した上で、核ノルムと最大ノルムの和を最小化する。
• 収束保証を伴う、効率的な推定器の計算を可能にする交替方向乗数法（ADMM）アルゴリズムを開発する。
• X更新ステップにおけるサブプロブレムの解法にスチェル補完に基づく手法を導入し、固有値分解を用いたスケーラブルな計算を実現する。
• 観測されたデータノルムを用いて実験的に調整された適応的チューニングパラメータを最大ノルムおよび核ノルム項に適用する。
• Jester、Movie-100K、Movie-1Mのデータセットを含む、シミュレートされたおよび実際のデータセットに本手法を適用し、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 核ノルムと最大ノルムをハイブリッドに組み合わせた正則化アプローチは、非一様サンプリング下で標準的な核ノルム手法に比べて、行列回復性能を向上させることができるか？
• RQ2 提案されたADMMアルゴリズムは、大規模な行列補完問題において高速な収束性とスケーラビリティを達成できるか？
• RQ3 実世界のデータセットにおいて、誤差と計算時間の観点から、ハイブリッド手法は純粋な核ノルムおよび最大ノルムアプローチと比較してどのように性能を発揮するか？
• RQ4 一般のサンプリング分布下で、提案推定器に理論的収束速度を確立できるか？

主な発見

• 提案されたハイブリッド推定器は、非一様サンプリング下で核ノルムベース手法よりも高速な収束速度を達成し、理論的保証を伴う。
• Jesterお笑いデータセットでは、15%のサンプリングレートで正規化平均絶対誤差（NMAE）が0.197を達成し、核ノルム（0.210）および最大ノルム（0.194）ベースラインを上回った。
• 2000人のユーザーと25%のサンプリングレートを有するMovie-1Mデータセットでは、ハイブリッド手法のNMAEは0.206であったのに対し、核ノルムは0.230、最大ノルムは0.206であり、946.3秒の合理的な実行時間であった。
• ADMMアルゴリズムは安定した収束性とスケーラビリティを示し、Movie-1Mのような大規模データセットでも実行時間が著しく増加しなかった。
• 実世界の共同フィルタリングデータセットを用いた検証により、非一様サンプリング状況下で核ノルム正則化は著しく劣ることが確認された。
• 本手法は、さまざまなサンプリングレートおよび行列サイズにおいても強固で適応可能な性能を維持した。