[論文レビュー] Modeling Label Ambiguity for Neural List-Wise Learning to Rank

Rolf Jagerman, Julia Kiseleva+1 more|arXiv (Cornell University)|Jul 24, 2017

Machine Learning and Algorithms参考文献 14被引用数 6

ひとこと要約

この論文は、Plackett-Luce分布からのサンプリングによってラベルの曖昧さをモデル化する、ニューラルリストワイズランキング学習のための新しい損失関数であるListPLを提案する。同じ関連性スコアを持つ文書同士は入れ替え可能であるという事実を考慮することで、ListPLは一般化性能を向上させ、MSLR-WEB10KでListNetおよびListMLEを著しく上回り、それぞれp値0.00078および0.00218を示した。

ABSTRACT

List-wise learning to rank methods are considered to be the state-of-the-art. One of the major problems with these methods is that the ambiguous nature of relevance labels in learning to rank data is ignored. Ambiguity of relevance labels refers to the phenomenon that multiple documents may be assigned the same relevance label for a given query, so that no preference order should be learned for those documents. In this paper we propose a novel sampling technique for computing a list-wise loss that can take into account this ambiguity. We show the effectiveness of the proposed method by training a 3-layer deep neural network. We compare our new loss function to two strong baselines: ListNet and ListMLE. We show that our method generalizes better and significantly outperforms other methods on the validation and test sets.

研究の動機と目的

• 複数の文書が同じ関連性スコアを持つというラベルの曖昧さの問題に対処すること。この場合、それらの文書間の順序付けの好みは意味を持たない。
• ListNet や ListMLE などの既存のリストワイズ手法が、曖昧さを無視するか、単純化された仮定を採用しているという限界を克服すること。
• ニューラルリストワイズモデルの学習目的に曖昧さを組み込む、効率的で微分可能なサンプリング手法を開発すること。
• 現実世界のLTRデータセットにおけるノイズや曖昧なラベル付けに起因する過学習を回避することで、モデルの一般化性能を向上させること。
• 今後のニューラルリストワイズランキング学習分野の研究を支援するため、公開可能でGPUアクセceleratedな実装を提供すること。

提案手法

• 文書順序のPlackett-Luce分布からのサンプリングによってラベルの曖昧さをモデル化する、変更された損失関数であるListPLを提案する。
• Plackett-Luce分布からの確率的サンプリングを用いて、各クエリに対して多様で妥当な順序付けを生成し、関連性スコアの曖昧さを反映する。
• 計算効率を保ちながら、サンプリングベースの損失を3層の全結合ニューラルネットワークに統合する。
• MSLR-WEB10Kデータセット上で、学習率10^-5、1000エポックでADAMを用いてモデルを最適化する。
• Plackett-Luce分布の対数尤度を活用することで、損失関数が微分可能であり、バックプロパゲーションと互換性があることを保証する。
• Chainer（GPUアクセceleratedなディープラーニングフレームワーク）を用いて実装し、MITライセンスの下でソースコードを公開する。

実験結果

リサーチクエスチョン

• RQ1 リストワイズニューラルランキング学習モデルは、関連性スコアの曖昧さを効果的に扱えるか？
• RQ2 Plackett-Luce分布からのサンプリングは、標準的なリストワイズ損失と比較して一般化性能をどのように向上させるか？
• RQ3 曖昧さをモデル化することで、nDCG@10などの標準的な評価指標における性能が向上するか？
• RQ4 提案手法は、計算効率を保ちながら、ListNet や ListMLE といった強力なベースラインを上回る性能を示せるか？
• RQ5 標準ベンチマークの検証およびテストセットにおいて、その改善は統計的に有意か？

主な発見

• ListPLは、MSLR-WEB10Kのテストセットにおいて、ListNetおよびListMLEを著しく上回り、両者に対して2つの片側t検定のp値がそれぞれ0.00078および0.00218であった。
• 性能の向上は、主に検証およびテストセットで顕著であり、ListPLがベースラインよりも優れた一般化性能を示していることを示している。
• ListNet や ListMLE が100エポックを過ぎて性能が低下するのに対し、ListPLはラベルの曖昧さに過学習を起こさないことが実証された。
• ListNet と同程度の訓練中における高い性能を維持しながら、未学習データへの一般化性能で両者を上回った。
• ReLU活性化関数を用いた3層の全結合ネットワークが最適な性能を達成し、より深いネットワークではほとんど性能向上が得られなかった。
• ListPLのソースコードはGitHub上でMITライセンスの下で公開されており、再現性と今後の研究を可能としている。