[論文レビュー] Matrix reconstruction with the local max norm

Rina Foygel, Nathan Srebro+1 more|arXiv (Cornell University)|Oct 18, 2012

Sparse and Compressive Sensing Techniques参考文献 17被引用数 9

ひとこと要約

本論文は、トレースノルム、マックスノルム、およびそれらの重み付き／滑らかにした変種を一般化する、新しい行列ノルムの族「ローカルマックスノルム」を導入する。行と列の周辺分布を用いてトレースノルムとマックスノルムの間を補間することで、Netflix や MovieLens などの実世界のデータセットおよびシミュレートされたデータセットにおいて、行列再構成の精度が向上し、学習性能に関する理論的保証も得られる。

ABSTRACT

We introduce a new family of matrix norms, the "local max" norms, generalizing existing methods such as the max norm, the trace norm (nuclear norm), and the weighted or smoothed weighted trace norms, which have been extensively used in the literature as regularizers for matrix reconstruction problems. We show that this new family can be used to interpolate between the (weighted or unweighted) trace norm and the more conservative max norm. We test this interpolation on simulated data and on the large-scale Netflix and MovieLens ratings data, and find improved accuracy relative to the existing matrix norms. We also provide theoretical results showing learning guarantees for some of the new norms.

研究の動機と目的

• 行列再構成のための既存の正則化子（トレースノルムやマックスノルムなど）を一般化する、統一された行列ノルム族の構築を目的とする。
• 非一様なサンプリング下でのトレースノルムの限界を克服し、より頑健な正則化子を導入することを目的とする。
• 局所的な行と列の周辺分布を用いて、保守的なマックスノルムとあまり保守的でないトレースノルムの間を柔軟に補間することを目的とする。
• 新しいノルムに対して理論的学習保証とスケーラブルな最適化手法を提供することを目的とする。

提案手法

• マックスノルムの一般化として、行と列の周辺分布を組み込んだ因子分解に基づく定式化により、ローカルマックスノルムを提案する。
• 制約下で行と列のノルムペナルティの組み合わせを最小化する半定値計画法（SDP）表現を用いて、ノルムを定義する。
• 非一様なサンプリング下での一般化を向上させるために、滑らかにした周辺分布を用いた重み付きトレースノルムの滑らかにしたバージョンを導入する。
• 半定値計画法を用いてノルムの双対表現を導出し、効率的な最適化を可能にする。
• コレスキー分解と行列シュール補行列を用いて、因子分解に基づくノルムとSDP表現との関係を確立する。
• 新しいノルムを正則化子として用いることで、行列再構成のための正則化損失関数を最小化する。

実験結果

リサーチクエスチョン

• RQ1 トレースノルムとマックスノルムの間を補間する統一された行列ノルム族を構築することは可能か？
• RQ2 非一様なサンプリング下で、ローカルマックスノルムは既存のノルムよりも行列再構成の精度を向上させるか？
• RQ3 新しいノルムは非一様なサンプリング設定において理論的学習保証を提供できるか？
• RQ4 ローカルマックスノルムは、Netflix や MovieLens などの大規模な協調フィルタリングデータセットにおいて、実験的にどのように性能を発揮するか？

主な発見

• ローカルマックスノルムは、トレースノルム、マックスノルム、およびそれらの重み付き変種よりも、シミュレートされたデータにおいてより高い再構成精度を達成する。
• Netflix および MovieLens データセットにおいて、ローカルマックスノルムは既存のノルムを上回り、大規模な行列補完タスクにおける優れた実験的性能を示す。
• ローカルマックスノルムに対して理論的学習保証が確立され、非一様なサンプリング分布下でも頑健であることが示された。
• ノルムがマックスノルムおよび滑らかにした重み付きトレースノルムの厳密な一般化であることが示され、補間においてそれらの間に厳密に位置している。
• ローカルマックスノルムのSDP表現により、大規模な最適化が効率的に行えるようになり、実世界の応用において実用的であることが示された。