[論文レビュー] Minimally Invasive Randomization for Collecting Unbiased Preferences from Clickthrough Logs

Filip Radlinski, Thorsten Joachims|ArXiv.org|May 9, 2006

Information Retrieval and Search Behavior参考文献 17被引用数 53

ひとこと要約

この論文では、検索順位の隣接する結果ペアを入れ替えることで、偏りのないクリックトレースデータを収集する最小限の侵襲的ランダム化手法FairPairsを提案する。クリック確率が相対的関連性にのみ依存するようにすることで、提示バイアスのないトレーニングデータを生成し、十分なデータがあれば学習ランキングアルゴリズムが最適な順位に収束できることを保証する。

ABSTRACT

Clickthrough data is a particularly inexpensive and plentiful resource to obtain implicit relevance feedback for improving and personalizing search engines. However, it is well known that the probability of a user clicking on a result is strongly biased toward documents presented higher in the result set irrespective of relevance. We introduce a simple method to modify the presentation of search results that provably gives relevance judgments that are unaffected by presentation bias under reasonable assumptions. We validate this property of the training data in interactive real world experiments. Finally, we show that using these unbiased relevance judgments learning methods can be guaranteed to converge to an ideal ranking given sufficient data.

研究の動機と目的

• 学習ランキングに使用されるクリックトレースデータにおける広範な提示バイアス問題に対処すること。
• 検索品質を損なわせることなく、実際のユーザー行動から信頼できる関連性フィードバックを収集する方法を開発すること。
• 理論的に証明し、実証的に検証することで、FairPairsを用いて収集されたクリックデータが結果の順位に対して偏りがないことを示すこと。
• FairPairsデータでトレーニングされた学習ランキングモデルが、十分なデータがあれば最適な順位に収束することを示すこと。

提案手法

• FairPairsは検索順位の隣接する結果ペアをランダムに交換することで、クリック確率と順位の相関を解消する。
• この手法は、ユーザーが隣接する結果のうち、より関連性の高い方をクリックする傾向があると仮定する。これは絶対的な順位とは無関係である。
• クリックは相対的好みの信号として解釈される：ペアの下位に位置する結果がクリックされた場合、それは上位の結果よりも関連性が高いと判断されている。
• アルゴリズムは、時間の経過とともにすべての結果ペアが両方向で等確率で提示されるように保証し、相対的関連性の偏りのない推定を可能にする。
• このアプローチは最小限の侵襲的であり、全体の順位品質を維持したまま、クリーンなデータ収集を可能にする。
• 理論的分析により、妥当な仮定の下で、収集された好みが提示バイアスに影響されないことが証明されている。

実験結果

リサーチクエスチョン

• RQ1 結果ペアのランダム化によって、クリックトレースデータにおける順位ベースのバイアスを排除できるか？
• RQ2 FairPairs手法によって収集されたクリックデータは、順位ではなく真の相対的関連性を反映しているか？
• RQ3 FairPairsデータでトレーニングされた学習ランキングモデルは、最適な順位に収束するか？
• RQ4 FairPairsの背後にある仮定は、実世界の検索環境で妥当か？
• RQ5 FairPairsデータが専門家の関連性判断と一致することが示せるか？

主な発見

• 下位の結果が上位の結果よりも関連性が高い場合、ペアの下位に位置する結果のクリック確率が顕著に高くなる。これは、この手法の有効性を確認するものである。
• 上位5位の結果と50位の結果がペアを形成する場合、50位の結果が下位に配置された場合にはクリックされにくくなる傾向が顕著に現れ、関連性がクリックに影響を与えるという仮説を支持する。
• ペア(1-2)と(2-1)の間でクリック確率の差が統計的に有意であるため、上位の結果が正しく順序付けられていることが示された。
• 50位の結果を含むペアに関して、クリック確率の最初の5つの差が統計的に有意であるため、この手法が低い順位でも関連性を捉えていることが示された。
• FairPairsで収集されたデータは、専門家の人的判断と一致しており、その信頼性が検証された。
• 十分なデータがあれば、FairPairsデータで学習を行うことは、最適な順位に収束することが保証される。これにより、この手法がトレーニングに適していることが証明された。