[論文レビュー] Learning from User Interactions with Rankings: A Unification of the Field

Harrie Oosterhuis|arXiv (Cornell University)|Dec 9, 2020

Information Retrieval and Search Behavior参考文献 125被引用数 6

ひとこと要約

本論文は、オンライン、反事後、および教師あり学習順序付け（LTR）手法を統合した統一された反事後学習順序付け（LTR）フレームワークを提案する。ユーザーのクリック行動を逆確率スコアリングでモデル化し、理論的保証を活用することで、オンラインおよび反事後設定の両方で競争力のある性能を達成し、形式的な理論的根拠を欠く既存のオンライン手法よりも信頼性が高くなる。

ABSTRACT

Ranking systems form the basis for online search engines and recommendation services. They process large collections of items, for instance web pages or e-commerce products, and present the user with a small ordered selection. The goal of a ranking system is to help a user find the items they are looking for with the least amount of effort. Thus the rankings they produce should place the most relevant or preferred items at the top of the ranking. Learning to rank is a field within machine learning that covers methods which optimize ranking systems w.r.t. this goal. Traditional supervised learning to rank methods utilize expert-judgements to evaluate and learn, however, in many situations such judgements are impossible or infeasible to obtain. As a solution, methods have been introduced that perform learning to rank based on user clicks instead. The difficulty with clicks is that they are not only affected by user preferences, but also by what rankings were displayed. Therefore, these methods have to prevent being biased by other factors than user preference. This thesis concerns learning to rank methods based on user clicks and specifically aims to unify the different families of these methods. As a whole, the second part of this thesis proposes a framework that bridges many gaps between areas of online, counterfactual, and supervised learning to rank. It has taken approaches, previously considered independent, and unified them into a single methodology for widely applicable and effective learning to rank from user clicks.

研究の動機と目的

• ユーザーのインタラクションから得られるオンライン、反事後、および教師ありLTRの異なる手法を統一すること。
• 現在のオンラインLTR手法よりも強い保証を提供する単一の理論的枠組みを構築すること。
• 共通の反事後推論フレームワークに根ざして、オンライン、反事後、および教師あり学習順序付けの間のギャップを埋めること。
• 多様なユーザー行動の仮定と実験設定において、統一フレームワークの頑健性と有効性を評価すること。
• 既存のオンラインLTR手法の理論的限界を特定し、反事後推論に根ざしたより信頼性の高い代替手法を提案すること。

提案手法

• フレームワークは逆確率スコアリングを用いて、観測されたユーザーのクリックからアイテムの真の関連性を推定し、順位バイアスやその他の選択効果を補正する。
• ユーザー行動は反事後推論アプローチでモデル化され、クリック確率が関連性と観測確率に分解可能であると仮定する。
• 同じ不偏推定の原則を用いて、オンラインおよび反事後設定の両方で適用可能な統一された学習アルゴリズムを導入する。
• 公平性と忠実性の理論的保証を備えた、感受性が高くスケーラブルなオンライン評価を可能にする、新しいマルチレーブル比較法を提案する。
• 微分可能なオンライン学習順序付け（PDGD）をサポートし、逆確率重み付けに基づく既存の反事後推定器と統合する。
• 理論的分析により、標準的なユーザー行動の仮定の下で、反事後LTRフレームワークが不偏であることが示され、オンラインLTR手法とは異なり、その有効性の条件が明確でない。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのクリックデータを用いて、オンライン、反事後、および教師あり学習順序付け手法を統一する1つのフレームワークが可能か？
• RQ2 反事後LTRはどのような条件下で不偏となり、実際の動作においてオンラインLTRと比べてどうなるか？
• RQ3 なぜPDGD や COLTR といった一部のオンラインLTR手法は、完全にオンラインで適用されない場合に性能を発揮しないのか。その有効性を規定する理論的条件は何か？
• RQ4 反事後LTRフレームワークは、段階的モデルや文脈依存の順位バイアスといった、より複雑なユーザー行動モデルへ拡張可能か？
• RQ5 反事後LTRは、多様性や公平性といった複雑な目的関数を最適化するためにどのように適合可能か？

主な発見

• 反事後LTRフレームワークは、オンラインおよび反事後評価設定の両方で、オンラインLTR手法と同等の性能を達成する。
• 反事後LTRは、現在のところ明確な有効性条件を欠くオンラインLTRよりも、より強い理論的保証を提供する。
• PDGD や COLTR は、完全にオンラインで適用されない場合に性能が著しく低下するため、それらの手法の運用境界についての理論的理解が不足していることが示唆される。
• 提案されたマルチレーブル比較法は、感受性が高くスケーラブルであり、理論的根拠に基づいた評価を可能にし、配慮と忠実性の保証を備える。
• 既存のオンラインLTR手法は、理論的基盤が不明瞭なため、性能が予測不能である一方、反事後LTRはより信頼性の高い代替手段を提供する。
• 今後の研究では、フレームワークをより複雑なユーザー行動モデルや、関連性、多様性、公平性といったマルチオブジェクティブ最適化へ拡張することが必要である。