[論文レビュー] Generalization error bounds for learning to rank: Does the length of document lists matter?

Ambuj Tewari, Sougata Chaudhuri|arXiv (Cornell University)|Mar 6, 2016

Machine Learning and Algorithms参考文献 17被引用数 6

ひとこと要約

この論文は、スチュアラ損失のリプシッツ定数を定義する際に $\infty\ell_{\infty}$ ノルムを用いる場合、クエリレベルのラーニング・トゥ・ランクにおける一般化誤差バウンドが文書リスト長の増加に伴って本質的に劣化しないことを示している。著者らは、ListNet や他の一般的な手法についてよりタイトなバウンドを導出し、スムーズ性と $\infty\ell_{1}$ 正則化が次元に依存しない、かつ $O(1/n)$ の高速収束率を実現することを示している。これは、リストが長くなると一般化性能が必然的に悪化するという仮定に挑戦するものである。

ABSTRACT

We consider the generalization ability of algorithms for learning to rank at a query level, a problem also called subset ranking. Existing generalization error bounds necessarily degrade as the size of the document list associated with a query increases. We show that such a degradation is not intrinsic to the problem. For several loss functions, including the cross-entropy loss used in the well known ListNet method, there is \emph{no} degradation in generalization ability as document lists become longer. We also provide novel generalization error bounds under $\ell_1$ regularization and faster convergence rates if the loss function is smooth.

研究の動機と目的

• 文書リスト長の増加に伴ってラーニング・トゥ・ランクの一般化誤差バウンドが必然的に劣化するかどうかを調査すること。
• リストが長いほど一般化性能が必然的に悪化するという一般的な仮定に反論すること。
• 標準的な $\infty\ell_{2}$ ノルムではなく、$\infty\ell_{\infty}$ ノルムを用いてリプシッツ定数を再定義することで、よりタイトな一般化バウンドを構築すること。
• 新しい設定、特に $\infty\ell_{1}$ 正則化とスムーズ損失関数への一般化解析を拡張すること。
• ListNet やクロスエントロピーなど広く使われている代替損失関数に対して、形式的かつ改善されたバウンドを提供すること。

提案手法

• スコアベクトルに対する $\infty\ell_{\infty}$ ノルムを用いてスチュアラ損失のリプシッツ定数を定義し、これによりバウンドが文書リスト長から分離されることを実現する。
• ラデマッハ複雑度と被覆数の議論を用いて、さまざまな設定下での一般化誤差バウンドを導出する。
• オンラインレジスト解析と局所ラデマッハ複雑度を用いて、非凸かつスムーズな損失関数のバウンドを導出する。
• 重みノルムと期待損失に関する制約下で複雑性を制御するための新規損失クラス $\phi_{\phi,2}(r)$ を導入する。
• 損失関数の $\infty\ell_{\infty}$ ノルムに関する滑らかさの性質を活用し、より高速な収束レートを達成する。
• $\infty\ell_{1}$ 正則化下でのバウンドを導出し、次元にほとんど依存しないものにすることで、高次元特徴へのスケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 クエリレベルのラーニング・トゥ・ランクにおいて、文書リスト長が一般化誤差バウンドを本質的に劣化させるのか？
• RQ2 異なるノルムを用いてリプシッツ定数を再定義することで、一般化バウンドを文書リスト長に依存させないことができるか？
• RQ3 スムーズな代替損失関数は、ラーニング・トゥ・ランクでより高速な収束レートを実現できるのか？ もしそうなら、そのレートは何か？
• RQ4 $\infty\ell_{1}$ 正則化が、特徴次元数にほとんど依存しない一般化バウンドをもたらすことができるか？
• RQ5 ListNet や他の一般的な手法が、リプシッツ解析に $\infty\ell_{\infty}$ ノルムを用いることで、よりタイトな一般化バウンドを享受できるか？

主な発見

• スチュアラ損失のリプシッツ定数が $\infty\ell_{\infty}$ ノルムに基づいて定義される限り、ラーニング・トゥ・ランクの一般化誤差バウンドは文書リスト長に本質的に依存しない。
• ListNet のクロスエントロピー損失において、一般化バウンドはリスト長に依存せず、以前の劣化の仮定とは矛盾する。
• 損失関数が $\infty\ell_{\infty}$ ノルムに関して滑らかである場合、本稿では $O(1/n)$ に達する楽観的な収束レートを達成している。
• $\infty\ell_{1}$ 正則化下では、一般化バウンドはほとんど次元に依存せず、$\tilde{O}(\sqrt{D_0/n})$ のスケーリングを示す。ここで $D_0$ は滑らかさと特徴ノルムに依存する。
• ListNet や他の一般的な損失関数のバウンドは、従来の結果よりも著しくタイトになっており、特に高次元または長いリストの設定において顕著である。
• 理論的解析により、適切なノルムに基づくリプシッツ定義を用いる場合、ラーニング・トゥ・ランクアルゴリズムの一般化性能は文書リスト長によって本質的に制限されないことが確認された。