[論文レビュー] Consistent Position Bias Estimation without Online Interventions for Learning-to-Rank

Aman Agarwal, Ivan Zaitsev+1 more|arXiv (Cornell University)|Jun 9, 2018

Information Retrieval and Search Behavior参考文献 5被引用数 5

ひとこと要約

本稿では、複数のランク関数からの暗黙的フィードバックを用いて、介入を伴わない一貫性のある位置バイアス推定手法を提案する。異なるランカー間の介入的ペアを活用し、最大尤度推定を用いてクリック行動をモデル化することで、手動ラベルやオンライン介入、制限的な関連性仮定を必要とせずに、統計的に一貫性のある順序付けの傾向推定が可能となる。

ABSTRACT

Presentation bias is one of the key challenges when learning from implicit feedback in search engines, as it confounds the relevance signal with uninformative signals due to position in the ranking, saliency, and other presentation factors. While it was recently shown how counterfactual learning-to-rank (LTR) approaches \cite{Joachims/etal/17a} can provably overcome presentation bias if observation propensities are known, it remains to show how to accurately estimate these propensities. In this paper, we propose the first method for producing consistent propensity estimates without manual relevance judgments, disruptive interventions, or restrictive relevance modeling assumptions. We merely require that we have implicit feedback data from multiple different ranking functions. Furthermore, we argue that our estimation technique applies to an extended class of Contextual Position-Based Propensity Models, where propensities not only depend on position but also on observable features of the query and document. Initial simulation studies confirm that the approach is scalable, accurate, and robust.

研究の動機と目的

• 暗黙的フィードバックに依存する学習-ランキングにおける提示バイアスの課題に対処すること。
• 手動の関連性判断やオンライン介入、強い関連性モデリング仮定を必要とする従来の順序付けの傾向推定手法の限界を克服すること。
• 位置ベースモデル（PBM）およびその拡張版である文脈的PBM（CPBM）において、相対的順序付けの傾向を一貫性がありスケーラブルに推定する手法を開発すること。
• 複数のランク関数からの自然に発生するデータを活用し、ユーザー体験を損なわず、追加のオンライン実験を要せず、一貫性のある推定を可能にすること。

提案手法

• ランカーの順序が異なることを利用し、複数のランク関数からの暗黙的フィードバックログを自然な介入の形として活用する。
• ある文書が1つのランカーで順位 $k$ に、別のランカーで順位 $k'$ に位置するような介入的集合 $S_{k,k'}$ を定義し、クリック行動の比較を可能にする。
• クリックおよび非クリックイベントを両方の介入的ペア全体にわたってモデル化する最大尤度推定（MLE）目的関数を用いて、相対的順序付けの傾向 $\hat{p}_k / \hat{p}_1$ を推定する。
• 曝露の差を反映するため、重み付きクリックトレーラー率 $\hat{c}_k^{k,k'}$ と $\hat{\neg c}_k^{k,k'}$ を用い、データ効率を向上させる。
• MLE目的関数を次のように定式化する：$\sum_{k \neq k'} \hat{c}_k^{k,k'} \log(\hat{p}_k \hat{r}_{k,k'}) + \hat{\neg c}_k^{k,k'} \log(1 - \hat{p}_k \hat{r}_{k,k'})$、ここで $\hat{r}_{k,k'}$ は相対的関連性のシフトを捉える。
• PBMおよびCPBMモデル下で、得られた $\hat{p}_k / \hat{p}_1$ が真の相対的順序付けの傾向の一致推定量であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 オンライン介入や手動の関連性ラベルが不要な状況でも、一貫性のある順序付けの傾向推定が可能か？
• RQ2 複数のランク関数からのデータをどのように活用し、統計的に一貫性のある方法で位置バイアスを推定できるか？
• RQ3 ランカーの順序が非常に似通っているか、あるいは著しく異なる場合でも、この手法は頑健に機能するか？
• RQ4 検閲確率がクエリおよび文書の特徴に依存する文脈的PBMに、この手法を拡張できるか？
• RQ5 現実的なノイズモデルやランカーの重複度が変化する状況下でも、この手法の性能はどのように変化するか？

主な発見

• 提案手法であるMLEベースの手法は、オンライン介入や手動の関連性ラベルを一切必要とせず、相対的順序付けの傾向 $\hat{p}_k / \hat{p}_1$ の一貫性のある推定を達成する。
• ログデータ量の増加に伴い推定精度が向上し、理論的な一貫性が裏付けられる。
• ランカーが非常に似通っている（高い重複度）場合や、著しく異なる場合でも、この手法は頑健であり、極端な状況では僅かな性能低下にとどまる。
• クリックデータのノイズレベルが変動する状況下でも、推定誤差が低く抑えられ、現実のクリックモデルに対して耐性があることが示された。
• 各（クエリ、文書）ペアが複数の介入的集合に寄与できるようにすることで、データの無駄を回避し、利用可能なデータを完全に活用している。
• 文脈的PBMへの拡張も自然に行える。ここでは、検閲確率がクエリおよび文書の観察可能な特徴に依存する。