[論文レビュー] Direct Estimation of Position Bias for Unbiased Learning-to-Rank without Intervention.

Grigor Aslanyan, Utkarsh Porwal|arXiv (Cornell University)|Dec 21, 2018

Information Retrieval and Search Behavior被引用数 4

ひとこと要約

本論文は、同じクエリ-ドキュメントペアの時間的順位シフトを活用することで、学習ランキングシステムにおける位置バイアスを直接的・干渉フリーに推定する手法を提案する。クリックの妥当性に依存する尤度関数を最大化することで、関連性のモデル化も必要とせず、ライブシステムの干渉も不要に、妥当な妥当性推定を達成し、eBayのデータを用いた不偏学習ランキングでEMベースのベースラインを上回る性能を発揮する。

ABSTRACT

The Unbiased Learning-to-Rank framework has been recently proposed as a general approach to systematically remove biases, such as position bias, from learning-to-rank models. The method takes two steps - estimating click propensities and using them to train unbiased models. Most common methods proposed in the literature for estimating propensities involve some degree of intervention in the live search engine. An alternative approach proposed recently uses an Expectation Maximization (EM) algorithm to estimate propensities by using ranking features for estimating relevances. In this work we propose a novel method to directly estimate propensities which does not use any intervention in live search or rely on modeling relevance. Rather, we take advantage of the fact that the same query-document pair may naturally change ranks over time. This typically occurs for eCommerce search because of change of popularity of items over time, existence of time dependent ranking features, or addition or removal of items to the index (an item getting sold or a new item being listed). However, our method is general and can be applied to any search engine for which the rank of the same document may naturally change over time for the same query. We derive a simple likelihood function that depends on propensities only, and by maximizing the likelihood we are able to get estimates of the propensities. We apply this method to eBay search data to estimate click propensities for web and mobile search and compare these with estimates using the EM method. We also use simulated data to show that the method gives reliable estimates of the true simulated propensities. Finally, we train an unbiased learning-to-rank model for eBay search using the estimated propensities and show that it outperforms both baselines - one without position bias correction and one with position bias correction using the EM method.

研究の動機と目的

• ライブシステムの干渉を要しない学習ランキングシステムにおける位置バイアス推定の課題に対処すること。
• 文書の関連性をモデル化する必要を排除することで、しばしば誤差を伴い、追加の仮定を導入するリスクを回避すること。
• 同じクエリ-ドキュメントペアの時間的順位変化を、妥当性推定の情報源として活用する手法を開発すること。
• 観察可能なクリックデータと順位の変化のみを用いて、不偏学習ランキングの訓練を可能にし、モデルの一般化性能を向上させること。
• 本手法の信頼性と有効性を、実世界の検索データ（eBay）およびシミュレーションデータで検証し、既存のEMベースの手法を上回ること。

提案手法

• 同じクエリ-ドキュメントペアの時間的順位シフトに着目し、人気の変化、時間依存特徴、インデックスの更新などにより自然に生じる現象を活用する。
• クリック妥当性と時間順序の順位位置における観察されたクリックパターンにのみ依存する尤度関数を定式化する。
• 中間の関連性推定を必要とせず、尤度関数を直接最大化することで、位置に特化したクリック妥当性を推定する。
• オンライン干渉や文書関連性に関する仮定を一切避けており、観察可能な順位およびクリックデータにのみ依存する。
• 同じドキュメントが同じクエリに対して時間経過とともに順位を変更する可能性があるあらゆる検索システムに一般化可能である。
• 閉形式または反復的最適化戦略を用いて尤度最大化問題を解き、安定的かつ一貫性のある妥当性推定を達成する。

実験結果

リサーチクエスチョン

• RQ1 ライブシステムの干渉や関連性モデル化なしに、位置バイアスを信頼性高く推定できるか？
• RQ2 提案手法は、既存のEMベースの手法と比較して、真のクリック妥当性をどの程度正確に推定できるか？
• RQ3 妥当性の直接推定が、不偏学習ランキングモデルの性能向上に寄与するか？
• RQ4 Web検索やモバイル検索など、異なる検索環境において、本手法はどの程度一般化可能か？
• RQ5 実世界データおよびシミュレーションデータという異なるデータ条件下でも、本手法はどの程度頑健か？

主な発見

• 提案手法は、シミュレーションデータおよび実際のeBay検索データの両方で、真のシミュレートされた妥当性に近く、信頼性の高いクリック妥当性推定を達成した。
• eBayのWebおよびモバイル検索データにおいて、本手法はEMベースのベースラインを上回り、位置バイアスの推定がより正確であることを示した。
• 本手法で得られた妥当性推定値を用いて訓練された不偏学習ランキングモデルは、補正なしのモデルおよびEMベースの推定値を用いたモデルと比較して、優れた性能を発揮した。
• Webおよびモバイルの異なる検索インターフェースにわたり、本手法は強い一般化性能を示しており、インターフェース固有の順位動態に頑健であることが確認された。
• 関連性モデル化やライブ干渉の欠如が推定品質に悪影響を及えないことから、本手法の実用性とスケーラビリティが裏付けられた。
• 尤度に基づく最適化フレームワークは安定的に収束し、複数の評価設定において一貫性のある結果をもたらした。