[論文レビュー] Offline Comparison of Ranking Functions using Randomized Data

Aman Agarwal, Xuanhui Wang+3 more|arXiv (Cornell University)|Oct 11, 2018

Advanced Bandit Algorithms Research参考文献 13被引用数 3

ひとこと要約

本論文では、一様にランダム化された履歴相互作用データを用いた順序付け関数のオフライン評価におけるデータ効率と比較感度を向上させるために、Trunc-match および Rand-interleaving の2つの手法を提案する。ランク付きリストを切り詰め、2つのモデルを同時に比較するためのインタリーブィングを活用することで、これらの手法は従来の Direct-match よりも顕著に優れており、クエリ保持率と統計的パワーの両面で優れた性能を示す。特に Rand-interleaving は、性能差を検出する感度が最も高いことが示された。

ABSTRACT

Ranking functions return ranked lists of items, and users often interact with these items. How to evaluate ranking functions using historical interaction logs, also known as off-policy evaluation, is an important but challenging problem. The commonly used Inverse Propensity Scores (IPS) approaches work better for the single item case, but suffer from extremely low data efficiency for the ranked list case. In this paper, we study how to improve the data efficiency of IPS approaches in the offline comparison setting. We propose two approaches Trunc-match and Rand-interleaving for offline comparison using uniformly randomized data. We show that these methods can improve the data efficiency and also the comparison sensitivity based on one of the largest email search engines.

研究の動機と目的

• 順序付けリストのオフライン評価における逆確率スコア（IPS）の低効率性を是正すること。特に、組み合わせ的爆発のため全リストのマッチングが不可能な状況を想定する。
• 順序付け関数のオフライン評価におけるデータ効率と比較感度を向上させること。ポイントワイズ指標推定ではなく、2つのモデルのうちどちらが優れているかというペアワイズ比較にのみ関心があるという事実を活用する。
• 従来はオンライン A/B テストでのみ使用されてきたインタリーブィングを、一様にランダム化されたデータを用いたオフライン評価へと拡張すること。
• 適切なマッチングおよびインタリーブィング戦略を用いることで、ランダム化データをオフライン比較により効果的に活用できることを示すこと。

提案手法

• Trunc-match は、記録済みのランク付きリストをその上位 k 項に切り詰め、それらの部分のみを比較することでマッチング効率を向上させる。これにより、新しいランカーの上位 k 項とのマッチング確率が高まる。
• この手法は、一様にランダム化されたリストを切り詰めてもランダム性が保たれることを仮定しており、これにより切り詰められたサブセット上でも不偏な評価が可能になる。
• Rand-interleaving は、各位置で2つの競合するランカーの最小ランクをとることでインタリーブドリストを構築し、同じクエリ上で2つのモデルの相対的性能を直接比較可能にする。
• このアプローチでは、インタリーブドリストを用いてクリックスルーレートを推定し、インタリーブをペアワイズ比較の一種とみなすことで感度を向上させる。
• 両手法は、103万クエリの大規模なメール検索エンジンデータセットに適用され、再サンプリングを用いて信頼区間を計算し、統計的有意性を評価した。
• 評価では、Trunc-match および Rand-interleaving をベースラインの Direct-match と比較し、保持率、平均逆順位（MRR@k）、および誤差棒付きのクリック数を測定した。

実験結果

リサーチクエスチョン

• RQ1 ランダム化されたランク付きリストを切り詰めることで、順序付け関数のオフライン評価におけるデータ効率が向上するか？
• RQ2 1つのランダム化リストに2つの順序付け関数をインタリーブすることで、単一モデルのマッチングに比べて比較感度が向上するか？
• RQ3 Trunc-match および Rand-interleaving は、Direct-match と比較してクエリ保持率と性能差検出の統計的パワーにおいて、どのように異なるか？
• RQ4 全リストのマッチングやポイントワイズ指標推定を必要とせずに、ランダム化データをオフライン比較に効果的に活用できるか？

主な発見

• Trunc-match は、与えられた k に対して約 1/k! のクエリを保持するが、これは理論的期待と一致しており、Direct-match の低い保持率に比べ顕著に優れている。
• Rand-interleaving は、各位置で2つのモデルの上位 k 項の少なくとも1つがマッチする確率が高いため、Trunc-match よりわずかに多くのクエリを保持する。
• Direct-match は k=1 でも誤差棒が重なっており、データ効率が低く、比較に向けた統計的パワーが著しく低いことが示された。
• Trunc-match は、保持率と比較感度の両面で Direct-match を上回るが、Rand-interleaving が平均と標準誤差の両面で2つのランカーの分離度が最も高くなる。
• 結果から、インタリーブがデータ使用量を増やすだけでなく、性能差を検出する能力そのものを根本的に向上させることで感度が向上することが確認された。
• 提案手法は、103万クエリを含む実世界のメール検索環境でも有効であることが実証され、大規模なオフライン評価における実用的価値を示した。