[論文レビュー] Learning to Rank With Bregman Divergences and Monotone Retargeting

Sreangsu Acharyya, Oluwasanmi Koyejo+1 more|arXiv (Cornell University)|Oct 16, 2012

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 13

ひとこと要約

本論文は、訓練スコアの単調変換とパラメータ化された予測関数の間のBregman発散を最小化する、新しいラーニング・トゥ・ランク手法を提案する。交替射影法を用いて変換関数とモデルパラメータを同時に最適化する。この手法はNDCGと統計的に一貫性を保ち、弱い条件下でもグローバル収束を達成し、ベンチマークデータセットにおいて最先端のNDCG一貫性を持つ手法を上回る性能を発揮する。

ABSTRACT

This paper introduces a novel approach for learning to rank (LETOR) based on the notion of monotone retargeting. It involves minimizing a divergence between all monotonic increasing transformations of the training scores and a parameterized prediction function. The minimization is both over the transformations as well as over the parameters. It is applied to Bregman divergences, a large class of "distance like" functions that were recently shown to be the unique class that is statistically consistent with the normalized discounted gain (NDCG) criterion [19]. The algorithm uses alternating projection style updates, in which one set of simultaneous projections can be computed independent of the Bregman divergence and the other reduces to parameter estimation of a generalized linear model. This results in easily implemented, efficiently parallelizable algorithm for the LETOR task that enjoys global optimum guarantees under mild conditions. We present empirical results on benchmark datasets showing that this approach can outperform the state of the art NDCG consistent techniques.

研究の動機と目的

• NDCG評価指標と統計的に一貫性を持つラーニング・トゥ・ランクフレームワークの開発を目的とする。
• 微分不能で凸でないNDCG基準の下での順序付けモデル最適化という課題に、取り扱いやすい代替目的関数を導入することで対処する。
• 単調性制約とBregman発散を統合し、順序付け性能を向上させることを目的とする。
• グローバル収束保証を持つ効率的で並列化可能なアルゴリズムの設計を目的とする。
• 最先端のNDCG一貫性を持つラーニング・トゥ・ランク技術と比較して、実験的に本手法の有効性を検証することを目的とする。

提案手法

• 本手法は、訓練の関連スコアのすべての単調増加変換とパラメータ化された予測関数との間のBregman発散を最小化する。
• 交替最適化を実行する：1ステップ目は、Bregman発散の種別に依存しない、単調変換の空間への射影を実行する。
• 2ステップ目は一般化線形モデルにおけるパラメータ推定に帰着され、計算が効率的に行える。
• アルゴリズムは、変換学習とモデルパラメータ学習を分離する交替射影スキームを用いる。
• 本手法はすべてのBregman発散に適用可能であり、これらがNDCGと一貫する唯一のクラスであることが証明されている。
• データおよびモデルに関する弱い正則性条件の下で、グローバル収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 Bregman発散に基づくラーニング・トゥ・ランク手法は、NDCG指標と統計的に一貫性を持つことができるか？
• RQ2 単調性制約を順序付けの微分可能な最適化フレームワークに効果的に統合する方法は何か？
• RQ3 提案された交替射影アルゴリズムはグローバルに収束し、効率的にスケーリングできるか？
• RQ4 本手法は標準ベンチマークにおいて、既存のNDCG一貫性を持つラーニング・トゥ・ランク技術を上回る性能を発揮できるか？
• RQ5 異なるBregman発散が順序付け性能および収束速度に与える影響は何か？

主な発見

• 提案手法は、データおよびモデルに関する弱い条件下でも、グローバル最適解へのグローバル収束を達成する。
• 単調変換の更新とパラメータ推定の分離により、アルゴリズムは効率的に並列化可能である。
• ベンチマークデータセットにおける実験結果から、本手法は最先端のNDCG一貫性を持つラーニング・トゥ・ランク技術を上回ることが示された。
• Bregman発散の使用により、理論的に確立されたように、NDCG基準と統計的に一貫性が保証された。
• 交替射影スキームにより、単調変換の計算が独立して行えるため、実装が簡素化された。
• さまざまなBregman発散の種別にわたり、本手法は安定した性能を示し、発散パrameterの手動チューニングが不要であることが示された。