[論文レビュー] Unbiased Learning to Rank: Online or Offline?

Qingyao Ai, Tao Yang+2 more|arXiv (Cornell University)|Apr 28, 2020

Information Retrieval and Search Behavior参考文献 61被引用数 8

ひとこと要約

本稿では、反事後的学習とバンドイット学習アルゴリズム—これらは別個に開発されたが、同じ根本的問題を異なる理論的視点から解くものである—を統合することで、オフラインとオンラインの不偏学習ランキング（ULTR）を統一した。本稿は、合成データおよび実世界のデータの両方で8つの最先端ULTRアルゴリズムを評価し、多くのアルゴリズムが最小限の変更でオフラインおよびオンライン設定に適応可能であることを示した。また、D Laがオフライン学習における不偏モデル収束の理論的保証を持つため、最も優れたパフォーマンスを発揮したことが判明した。

ABSTRACT

How to obtain an unbiased ranking model by learning to rank with biased user feedback is an important research question for IR. Existing work on unbiased learning to rank (ULTR) can be broadly categorized into two groups -- the studies on unbiased learning algorithms with logged data, namely the extit{offline} unbiased learning, and the studies on unbiased parameters estimation with real-time user interactions, namely the extit{online} learning to rank. While their definitions of extit{unbiasness} are different, these two types of ULTR algorithms share the same goal -- to find the best models that rank documents based on their intrinsic relevance or utility. However, most studies on offline and online unbiased learning to rank are carried in parallel without detailed comparisons on their background theories and empirical performance. In this paper, we formalize the task of unbiased learning to rank and show that existing algorithms for offline unbiased learning and online learning to rank are just the two sides of the same coin. We evaluate six state-of-the-art ULTR algorithms and find that most of them can be used in both offline settings and online environments with or without minor modifications. Further, we analyze how different offline and online learning paradigms would affect the theoretical foundation and empirical effectiveness of each algorithm on both synthetic and real search data. Our findings could provide important insights and guideline for choosing and deploying ULTR algorithms in practice.

研究の動機と目的

• オフラインとオンラインの不偏学習ランキング（ULTR）研究の長年の分断を、理論的および実証的つながりを確立することで解消すること。
• オフラインとオンラインのULTRアルゴリズムが、理論的および性能的観点から根本的に異なるものか、それとも同じコインの表裏にすぎないかを調査すること。
• 合成データおよび実世界の検索データセットの両方で、8つの最先端ULTRアルゴリズムの頑健性と有効性を評価すること。
• 異なる学習パラダイムにおける理論的特性と実証的パフォーマンスに基づき、ULTRアルゴリズムの選定および展開に関する実用的ガイドラインを提供すること。

提案手法

• 不偏学習ランキングを形式化する統一された数学的枠組みを構築し、オフラインおよびオンライン手法の直接比較を可能にした。
• ULTRアルゴリズムを2つのファミリーに分類：反事後的学習（例：D La、REM）およびバンドイット学習（例：PDGD、PairD）、それぞれの理論的基盤を分析した。
• 10回の繰り返しを含む合成データおよび実世界のTi angongデータセット上で、8つの最先端ULTRアルゴリズムを実証的に評価し、頑健性とパフォーマンスを測定した。
• 標準的なIR指標（nDCG@1、ERR@1、nDCG@3など）を用いて、異なる学習パラダイムおよびデータ分布間でのモデルパフォーマンスを比較した。
• 表示結果の分布およびクリックバイアスの分散が、オフラインおよびオンライン両設定におけるアルゴリズムの不偏性および収束に与える影響を分析した。
• 理論的分析を適用し、反事後的学習が結果の表示分布に対して不変であるのに対し、バンドイット学習はクリックバイアスの分散に対してより頑健であることを示した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: オフライン学習とオンライン学習に向けた不偏学習ランキングアルゴリズムの理論的差異と関連性は何か？
• RQ2 RQ2: 学習パラダイム（オフライン対オンライン）は、不偏学習ランキングアルゴリズムの理論的基盤および実証的有効性にどのように影響するか？
• RQ3 RQ3: 既存のオフラインULTRアルゴリズムは、重大な変更なしにオンライン学習設定に効果的に適応可能か、逆にオンラインからオフラインに適応可能か？
• RQ4 RQ4: 表示分布への不変性やクリックバイアス分散への頑健性といったアルゴリズム的特性は、実世界の展開にどのように影響を与えるか？

主な発見

• D Laは、オフライン学習における不偏ランキングモデルの収束を理論的に保証しているため、合成データおよびTi angongデータセットを含むすべてのデータセットで最も優れた実証的パフォーマンスを発揮した。
• Ti angongデータセットでは、NA（クリックに基づいて訓練されたナイーブモデル）も競争力のある性能を示した。これは、生産システムの特徴量が豊富であるため、元の生産ランキングを最適化するだけで強い結果が得られることを示している。
• REMはTi angongで最悪のパフォーマンスを示した。これは、特徴表現力が限定されたシグモイドポイントワイズ損失に依存しているためであり、スパースな特徴集合では単純な損失関数の使用がリスクを伴うことを示している。
• PairDはTi angongで良好なパフォーマンスを示し、複数の指標でNAを上回った。これは、理論的保証がなくてもクリックバイアスを効果的に緩和できることを示唆している。
• PDGDは合成データおよび実データの両方で強く、オンライン勾配ベースの手法が理論的保証が明確でなくても効果的である可能性を示した。
• 反事後的学習における結果の表示分布への不変性、およびバンドイット学習におけるクリックバイアス分散への頑健性といった理論的特性は、異なる展開環境におけるアルゴリズムの適性に顕著な影響を与えた。