[論文レビュー] Online Learning to Rank with Feedback at the Top

Sougata Chaudhuri, Ambuj Tewari|arXiv (Cornell University)|Mar 6, 2016

Intelligent Tutoring Systems and Adaptive Learning参考文献 15被引用数 4

ひとこと要約

この論文は、順序付けられたリスト内の上位k個のドキュメントの関連度のみが公開されるという極めて制限されたフィードバック下で動作するオンライン学習順序付けアルゴリズムを提案している。それでも凸な代替損失関数を用いることで優れた性能を達成している。凸代替損失関数に対してはO(T^{2/3})のレグルス境界を確立し、NDCGにキャリブレートされた損失関数に対しては、トップ1のフィードバックのみではいかなるオンラインアルゴリズムでもサブ線形なレグルスを達成できないことを証明しており、順序付けのフィードバックにおけるこのような制限の根本的な限界を示している。

ABSTRACT

We consider an online learning to rank setting in which, at each round, an oblivious adversary generates a list of $m$ documents, pertaining to a query, and the learner produces scores to rank the documents. The adversary then generates a relevance vector and the learner updates its ranker according to the feedback received. We consider the setting where the feedback is restricted to be the relevance levels of only the top $k$ documents in the ranked list for $k \ll m$. However, the performance of learner is judged based on the unrevealed full relevance vectors, using an appropriate learning to rank loss function. We develop efficient algorithms for well known losses in the pointwise, pairwise and listwise families. We also prove that no online algorithm can have sublinear regret, with top-1 feedback, for any loss that is calibrated with respect to NDCG. We apply our algorithms on benchmark datasets demonstrating efficient online learning of a ranking function from highly restricted feedback.

研究の動機と目的

• クエリごとに上位k個のドキュメントの関連度スコアのみが公開されるという極めて制限されたフィードバックからの順序付け関数の学習という課題に対処すること。
• 上位k個のフィードバック下で、代替順序付け損失（例：二乗損失、ハッジ損失、交差エントロピー）を最小化する効率的なオンラインアルゴリズムを開発すること。
• 各代替損失関数に対して、有効な学習を保証するための最小のフィードバック（すなわちk）を同定すること。
• NDCGにキャリブレートされた代替損失関数に対して、トップ1のフィードバックではサブ線形なレグルスを達成できないという理論的限界を立証すること。
• ベンチマークデータセット（Yahoo, Yandex）を用いて、提案手法の実験的妥当性を、完全フィードバックおよびランダムベースラインと比較して検証すること。

提案手法

• このアルゴリズムは、学習者と無知な敵対者との間のオンラインゲームとして問題を定式化しており、学習者はドキュメントを順序付け、上位k個の関連度フィードバックのみを受信する。
• 上位k個のフィードバックから推定された勾配に基づく勾配更新を用いた、一般化されたオンライン最適化フレームワークを採用している。
• 凸代替損失関数（二乗損失、ハッジ損失、交差エントロピー）に対しては、学習率η = O(T^{-2/3})および探索パラメータγ = O(T^{-1/3})を用いた射影オンライン勾配降下法を適用している。
• 勾配推定器は上位k個の関連度値のみを用いて構築されており、部分的フィードバックにもかかわらず効率的な更新を可能としている。
• 非凸なSmoothDCG代替損失関数に対しては、固定された滑らかさパラメータε = 0.01を用いたオンライン最適化を適用しているが、収束性はやや不安定である。
• 理論的分析により、代替損失関数の構造とフィードバックメカニズムの関係を結びつけ、NDCGにキャリブレートされた代替損失関数では、トップ1のフィードバックではサブ線形なレグルスを達成できないことを証明している。

実験結果

リサーチクエスチョン

• RQ1 クエリごとに上位k個のドキュメントの関連度レベルのみが公開される場合に、オンライン学習順序付けを効果的に行うことは可能か？
• RQ2 与えられた代替損失関数に対して、収束性と低レグルスを保証するための最小のフィードバック（すなわちk）は何か？
• RQ3 広く用いられる凸代替損失関数（例：二乗損失、ハッジ損失、交差エントロピー）に対して、上位k個のフィードバック下で効率的なオンラインアルゴリズムを設計することは可能か？
• RQ4 NDCGにキャリブレートされた代替損失関数に対して、トップ1のフィードバックではサブ線形なレグルスを達成することは可能か？
• RQ5 実際の応用において、提案手法の性能は完全フィードバックおよびランダムベースラインと比べてどの程度か？

主な発見

• 提案手法は、凸代替損失関数（二乗損失、ハッジ損失、交差エントロピー）に対して、上位k個のフィードバック下でO(T^{2/3})のレグルス境界を達成しており、理論的収束性を示している。
• Yahooデータセットにおいて、上位2個のフィードバックを使用したRankSVM代替損失関数を用いたアルゴリズムは、平均NDCG@10の観点で完全フィードバックのListNetとほぼ同等の性能を発揮している。
• KL（交差エントロピー）代替損失関数を用いたアルゴリズムは、二乗損失代替損失関数を上回り、両者とも極めて制限されたフィードバックにもかかわらず、ランダムベースラインを著しく上回っている。
• 非凸なSmoothDCG代替損失関数を用いたアルゴリズムは、アニーリングなしの非凸最適化における局所最適解の影響により、性能が著しく劣っている可能性がある。
• 不可能性結果により、いかなるNDCGにキャリブレートされた代替損失関数に対しても、トップ1のフィードバックではサブ線形なレグルスを達成できないことが証明されており、根本的な限界を示している。
• 実験的結果から、上位1個または上位2個のフィードバックですら、完全フィードバック学習と比較して競争力のある性能を達成できることを示しており、実用的有用性が裏付けられている。