[論文レビュー] A Novel Algorithm for Unbiased Learning to Rank.

Ziniu Hu, Yang Wang+2 more|arXiv (Cornell University)|Sep 16, 2018

Information Retrieval and Search Behavior参考文献 26被引用数 3

ひとこと要約

本論文は、クリック済みおよび非クリック済みの位置における位置ベースのクリックバイアスを同時に推定することで、バイアスのない学習をクリックデータを用いて可能にする、新しいペairワイズ学習-ランクアルゴリズムを提案する。バイアス推定とランカー学習を統合的なペアワイズフレームワーク内に組み込むことで、従来のIPWベースの手法と比較して、ベンチマーク実験および商業検索エンジンにおけるオンラインA/Bテストによって検証されたように、ランク付け性能が顕著に向上する。

ABSTRACT

Although click data is widely used in search systems in practice, so far the inherent bias, most notably position bias, has prevented it from being used in training of a ranker for search, i.e., learning-to-rank. Recently, a number of authors have proposed new techniques referred to as 'unbiased learning-to-rank', which can reduce position bias and train a relatively high-performance ranker using click data. Most of the algorithms, based on the inverse propensity weighting (IPW) principle, first estimate the click bias at each position, and then train an unbiased ranker with the estimated biases using a learning-to-rank algorithm. However, there has not been a method for pairwise learning-to-rank that can jointly conduct debiasing of click data and training of a ranker using a pairwise loss function. In this paper, we propose a novel algorithm, which can jointly estimate the biases at click positions and the biases at unclick positions, and learn an unbiased ranker. Experiments on benchmark data show that our algorithm can significantly outperform existing algorithms. In addition, an online A/B Testing at a commercial search engine shows that our algorithm can effectively conduct debiasing of click data and enhance relevance ranking.

研究の動機と目的

• クリック信号を用いた効果的な検索ランカーの学習を制限する位置バイアスの課題に対処すること。
• クリック済みおよび非クリック済みの位置を別々に扱うか、ペアワイズ学習-ランクをサポートしない既存の逆確率重み付け（IPW）手法の制限を克服すること。
• クリック済みおよび非クリック済みの両位置におけるバイアスを同時に推定しながら、バイアスのないランカーを学習する統合フレームワークを開発すること。
• デバイアス付き学習-ランクにおいて、現在の文献では稀であるペアワイズ損失関数の使用を可能にすること。
• 実世界の検索システムにおけるオフラインベンチマーク評価およびオンラインA/Bテストを通じて、提案手法の有効性を実証すること。

提案手法

• クリック済みおよび非クリック済みの両位置におけるクリックバイアスを統一的な確率的定式化を用いてモデル化する共同最適化フレームワークを提案する。
• クリック済みの位置に加え、非クリック位置の確率スコアも推定することで、逆確率重み付け（IPW）の原則を非クリック位置に対しても拡張する。
• バイアス推定とランカー学習を、推定された確率スコアを組み込んだ微分可能な損失関数を用いた、単一のペアワイズ学習-ランク目的関数に統合する。
• エンドツーエンドの学習中に、関連性スコアと位置固有のバイアスを同時に予測するためのニューラルネットワークまたは微分可能なモデルを用いる。
• クリック済みおよび非クリック済みのアイテムの両方に対して、推定された逆確率で補正されたペアワイズランク損失（例：ペアワイズハードマージン損失またはロジスティック損失）を適用する。
• モデルがデバイアス付きペアワイズランク誤差を最小化するように訓練されることで、予測における一般化性能の向上と位置バイアスの低減が実現される。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ学習-ランクアルゴリズムが、クリック済みおよび非クリック済みの両位置におけるバイアスを同時に推定することで、クリックデータ内の位置バイアスを低減できるか？
• RQ2 バイアス推定とランカー学習を1つの微分可能なフレームワークに統合することで、分離した推定と学習に比べてより優れた一般化性能が得られるか？
• RQ3 提案手法は、標準ベンチマークデータセットにおいて、既存のIPWベースのデバイアス付き学習-ランク手法と比較して、ランク付け性能で優れているか？
• RQ4 提案アルゴリズムは、オンラインA/Bテストによって確認されるように、実世界の商業検索エンジンにおける関連性ランクを向上させることができるか？

主な発見

• 提案手法は、標準ベンチマークデータセットにおいて、既存のデバイアス付き学習-ランク手法を顕著に上回り、ランク付け効果性が向上していることが示された。
• クリック済みおよび非クリック済みの両位置におけるバイアスの共同推定は、クリック済み位置のみをモデル化する手法と比較して、より正確なデバイアス除去を実現している。
• デバイアス付きフレームワーク内でペアワイズ損失関数を用いることで、ポイントワイズまたはリストワイズのベースラインと比較して、より優れた一般化性能とより安定した学習が達成された。
• 商業検索エンジンにおけるオンラインA/Bテストにより、アルゴリズムが位置バイアスを効果的に低減することで、関連性ランクが向上していることが確認された。
• NDCGやMAPなどの標準的な情報検索指標において、測定可能な向上が得られており、モデルの一般化性能および頑健性の向上を示している。
• 実世界での導入に成功したプロダクション検索システムへの統合を通じて、アルゴリズムのスケーラビリティと実用性が実証された。