[論文レビュー] MergeDTS: A Method for Effective Large-Scale Online Ranker Evaluation

Chang Li, Ilya Markov+2 more|arXiv (Cornell University)|Dec 11, 2018

Advanced Bandit Algorithms Research参考文献 55被引用数 4

ひとこと要約

MergeDTS は、コンドルセ仮定の下で最適なランカーランクを効率的に同定する、大規模オンラインランカーレーティング評価のための新規アルゴリズムである。分割統治型バッチ処理とトンプソンサンプリングを組み合わせることで、現在の最先端のデュエルバンディット手法（例：MergeRUCB）に比べ、レグレットと計算効率の両面で顕著に優れている。特に数百〜数千のランカーが関与する大規模な設定下で顕著な性能向上を示す。

ABSTRACT

Online ranker evaluation is one of the key challenges in information retrieval. While the preferences of rankers can be inferred by interleaving methods, the problem of how to effectively choose the ranker pair that generates the interleaved list without degrading the user experience too much is still challenging. On the one hand, if two rankers have not been compared enough, the inferred preference can be noisy and inaccurate. On the other, if two rankers are compared too many times, the interleaving process inevitably hurts the user experience too much. This dilemma is known as the exploration versus exploitation tradeoff. It is captured by the $K$-armed dueling bandit problem, which is a variant of the $K$-armed bandit problem, where the feedback comes in the form of pairwise preferences. Today's deployed search systems can evaluate a large number of rankers concurrently, and scaling effectively in the presence of numerous rankers is a critical aspect of $K$-armed dueling bandit problems. In this paper, we focus on solving the large-scale online ranker evaluation problem under the so-called Condorcet assumption, where there exists an optimal ranker that is preferred to all other rankers. We propose Merge Double Thompson Sampling (MergeDTS), which first utilizes a divide-and-conquer strategy that localizes the comparisons carried out by the algorithm to small batches of rankers, and then employs Thompson Sampling (TS) to reduce the comparisons between suboptimal rankers inside these small batches. The effectiveness (regret) and efficiency (time complexity) of MergeDTS are extensively evaluated using examples from the domain of online evaluation for web search. Our main finding is that for large-scale Condorcet ranker evaluation problems, MergeDTS outperforms the state-of-the-art dueling bandit algorithms.

研究の動機と目的

• 数千のランカーが関与する大規模なオンラインランカーレーティング評価におけるスケーラビリティの課題に対処すること。
• コンドルセ仮定の下で、大規模なデュエルバンディット問題における探索と活用のトレードオフを解消すること。
• 既存の大規模デュエルバンディットアルゴリズムに比べ、高い有効性（低いレグレット）と計算効率の両立を実現する手法を開発すること。
• ノイズの多いユーザーフィードバックが存在する中でも、最適なランカーを理論的に妥当かつ実用的に安定して同定できること。

提案手法

• MergeDTS は、ランカーの集合を小規模で管理可能なバッチに分割する分割統治戦略を用い、グローバルな比較を制限する。
• 各バッチ内で、トンプソンサンプリング（TS）を用いてインタリーブに適したランカー対を選択し、事後分布を活用して情報量の多い比較を優先する。
• UCBに基づく排除戦略を用いて、各バッチ内で非最適なランカーを動的に削除することで、無駄な比較を削減する。
• 二重トンプソンサンプリング（DTS）の原則を階層的バッチングフレームワークに統合し、従来の均等なランダム選択に比べて効率性を向上させる。
• 時間枠 $T$ が既知であり、探索パラメータ $\alpha > 0.5$ の場合、理論的に収束性が保証され、最適ランカーに収束することが保証される。
• パラメータチューニングは実験的評価に基づき、$\alpha = 0.8^6 \approx 0.2621$、$M = 16$、$C = 4,000,000$ が、レグレットと失敗率の最適なトレードオフとして選ばれた。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルなデュエルバンディットアルゴリズムは、数千のランカーが関与する大規模なオンライン評価において、最適ランカーを効果的に同定できるか？
• RQ2 トンプソンサンプリングと局所的バッチ処理による比較を組み合わせることで、既存の大規模デュエルバンディット手法と比較して、レグレットと時間計算量はどのように改善されるか？
• RQ3 コンドルセ勝者が明確でない場合や、ペairwise preferences にサイクルが存在する場合、MergeDTS は性能とロバストネスをどの程度維持できるか？
• RQ4 パラメータ $\alpha$、$M$、$C$ は、実際のレグレット、失敗率、計算効率のトレードオフにどのように影響を与えるか？

主な発見

• パラメータ $\alpha = 0.8^4$ の場合、MergeDTS は DTS に比べ累積レグレットを約1/3にまで低減し、大規模設定下での優れた有効性を示した。
• パラメータ $\alpha = 0.8^6 \approx 0.2621$ の場合、MergeDTS は低いレグレットと最小限の失敗率の両立を達成し、10万回の試行のうちたった1回の失敗しか観測されなかった。
• バッチサイズ $M$ を小さな値から $M = 16$ に増加させることで、レグレットが顕著に低下した。これは、より大きなバッチがより情報量の多い局所的比較を提供するためである。
• MergeDTS の時間計算量は $O(TM^2)$ であり、現実的なバッチサイズでは取り扱い可能であり、大規模な状況下では DTS よりも効率的である。
• 複数の MSLR-Navigational ベンチマークにおいて、MergeDTS は、現在の最先端の大規模デュエルバンディットアルゴリズムである MergeRUCB よりも、両方の指標（レグレットと計算効率）で優れた性能を示した。
• 理論的範囲外のパラメータ設定であっても、MergeDTS は強力な性能を維持しており、理論と実効性の間の実用的ギャップを示している。