[論文レビュー] Learning with the Weighted Trace-norm under Arbitrary Sampling Distributions

Rina Foygel, Ruslan Salakhutdinov+2 more|arXiv (Cornell University)|Jun 21, 2011

Machine Learning and Algorithms参考文献 20被引用数 38

ひとこと要約

本稿では、行と列のインデックスが独立に抽出されない非積分布における行列補完の文脈で、標準的な重み付きトレースノルムが失敗する状況において、任意のサンプリング分布下で正しく修正された重み付きトレースノルム正則化を提案する。標準的な重み付きノルムが機能しない状況においても、経験的または真のサンプリング分布を用いた厳密な一般化保証を確立し、特に均一分布や真の分布が既知である場合でも経験的周辺度数に基づく重み付けが有効であることが示され、標準的手法よりも優れた性能を発揮することを示している。

ABSTRACT

We provide rigorous guarantees on learning with the weighted trace-norm under arbitrary sampling distributions. We show that the standard weighted trace-norm might fail when the sampling distribution is not a product distribution (i.e. when row and column indexes are not selected independently), present a corrected variant for which we establish strong learning guarantees, and demonstrate that it works better in practice. We provide guarantees when weighting by either the true or empirical sampling distribution, and suggest that even if the true distribution is known (or is uniform), weighting by the empirical distribution may be beneficial.

研究の動機と目的

• 行と列のインデックスが独立に抽出されない非積分布における標準的な重み付きトレースノルム正則化の失敗を解消すること。
• 任意のサンプリング分布下で修正された重み付きトレースノルムを用いた行列補完の理論的学習保証を提供すること。
• 真の分布や均一分布を用いるのと比較して、経験的サンプリング分布に基づく重み付けが理論的および実践的に優位であるかどうかを調査すること。
• i.i.d.ノイズや積分布の枠組みを越えて、一般の損失関数に対して一般化可能な理論的分析を拡張すること。

提案手法

• 行と列のインデックスの周辺分布を適切に考慮する修正された重み付きトレースノルムを導入し、$\|X\|_{\mathrm{tr}(p^r,p^c)} = \|\mathrm{diag}(p^r)^{1/2} \cdot X \cdot \mathrm{diag}(p^c)^{1/2}\|_{\mathrm{tr}}$ として定義する。
• 推定器がクラス $\mathcal{W}_r[\overline{p}] = \{X : \|X\|_{\mathrm{tr}(p^r,p^c)} \leq \sqrt{r}\}$ 内の行列において経験的損失を最小化する正則化フレームワークを提案する。
• ラデマッハ複雑度と対称化技術を用いて一般化誤差を評価し、データを訓練集合とテスト集合に分割することで、伝達的保証を導出する。
• 行と列の周辺確率に閾値処理を施し、高確率と低確率のエントリを分離し、それぞれの部分の複雑度を別々に評価する。
• 一般化誤差の境界を $\mathbf{O}\left((l+b)\sqrt[3]{\frac{rn\log n}{s}}\right)$ として導出する。ここで $l$ はリプシッツ定数、$b$ は損失の上限、$r$ はランク、$n$ は行列サイズ、$s$ は観測されたエントリ数である。
• 真の分布と経験的分布の両方のサンプリング分布を重み付けに用い、真の分布が既知であっても経験的重み付けが有効であることを示している。

実験結果

リサーチクエスチョン

• RQ1 行と列のインデックスが独立に抽出されない非積分布下で、標準的な重み付きトレースノルムは失敗するのか？
• RQ2 任意のサンプリング分布下で、重み付きトレースノルムの修正版が強力な一般化保証を提供できるか？
• RQ3 理論的および実践的観点から、経験的サンプリング分布に基づく重み付けは真の分布や均一分布を用いるのと比較して優位であるか？
• RQ4 均一分布や積分布と比較して、任意のサンプリング分布下での行列補完のサンプル複雑度はどのようにスケーリングされるか？

主な発見

• 行と列のインデックスが依存する非積分布下では、標準的な重み付きトレースノルムは誤った正規化により失敗する。
• 行と列の周辺分布を適切に考慮する修正された重み付きトレースノルムが提案され、理論的整合性が保証される。
• 一般化誤差は $\mathbf{O}\left((l+b)\sqrt[3]{\frac{rn\log n}{s}}\right)$ で抑えられ、これは $n$ に対して非線形にスケーリングされ、結合サンプリング分布に依存しない。
• 経験的重み付けは、真の分布が既知であっても実務において真の分布重み付けを上回ることが多い。
• Netflix や MovieLens といった実世界のデータセットでも、修正手法が優れた性能を発揮し、実用的利点が実証された。
• 理論的保証はインダクティブおよび伝達的設定の両方で成り立ち、一般の損失関数に対して有効であり、i.i.d.ノイズの仮定も不要である。