[論文レビュー] Merge Double Thompson Sampling for Large Scale Online Ranker Evaluation

Chang Li, Ilya Markov+2 more|arXiv (Cornell University)|Dec 11, 2018

Advanced Bandit Algorithms Research被引用数 3

ひとこと要約

本稿では、コンドラセ・仮定の下で大規模オンラインランカー評価に適したスケーラブルなK腕ディュエルバンディットアルゴリズムであるMerge Double Thompson Sampling (MergeDTS) を提案する。分割統治戦略とトマソンサンプリングを組み合わせることで、MergeDTSはレグレットと時間計算量を低減し、大規模なウェブ検索評価環境において最先端のディュエルバンディット手法を上回る性能を発揮する。

ABSTRACT

Online ranker evaluation is one of the key challenges in information retrieval. While the preferences of rankers can be inferred by interleaved comparison methods, how to effectively choose the pair of rankers to generate the result list without degrading the user experience too much can be formalized as a K-armed dueling bandit problem, which is an online partial-information learning framework, where feedback comes in the form of pair-wise preferences. A commercial search system may evaluate a large number of rankers concurrently, and scaling effectively in the presence of numerous rankers has not been fully studied. In this paper, we focus on solving the large-scale online ranker evaluation problem under the so-called Condorcet assumption, where there exists an optimal ranker that is preferred to all other rankers. We propose Merge Double Thompson Sampling (MergeDTS), which first utilizes a divide-and-conquer strategy that localizes the comparisons carried out by the algorithm to small batches of rankers, and then employs the Thompson Sampling (TS) to reduce the comparisons between suboptimal rankers inside these small batches. The effectiveness (regret) and efficiency (time complexity) of MergeDTS are extensively evaluated using examples from the domain of online evaluation for web search. Our main finding is that for large-scale Condorcet ranker evaluation problems MergeDTS outperforms the state-of-the-art dueling bandit algorithms.

研究の動機と目的

• 多数のランカーを効率的に評価するオンライン情報検索システムにおける課題に対処すること。
• 多数のランカーが存在する中で、ユーザー体験を維持しつつ、オンラインランカー評価を効果的にスケーリングすること。
• 最適なランカーがすべての他のランカーを上回るというコンドラセ仮定の下で、K腕ディュエルバンディット問題として問題を形式化すること。
• 局所的な比較と適応的サンプリングを通じて、大規模環境におけるレグレットと計算コストを最小限に抑える手法を開発すること。
• レグレットと時間計算量の両面で、既存のディュエルバンディットアルゴリズムに比べ優れた性能を達成すること。

提案手法

• 大規模なランカー集合をより小さな管理可能なバッチに分割する分割統治戦略を適用する。
• 各バッチ内で、好みの結果に関する事後分布に基づき、適応的にランカーを選択・比較するトマソンサンプリングを用いる。
• 確率的サンプリングを活用して、非最適なランカー同士の比較を制限し、不必要な評価を削減する。
• 階層的集約戦略を用いてバッチ間の結果を統合し、グローバルに最適なランカーを特定する。
• 有望なランカーに焦点を当てた探索を維持するとともに、著しく劣るランカーとの比較を最小限に抑えることで、低レグレットを維持する。
• 比較を局所的なバッチに制限することで、アルゴリズム全体の時間計算量を低く保つことでスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 分割統治アプローチは、大規模オンラインランカー評価に向けたディュエルバンディットアルゴリズムを効果的にスケーリングできるか？
• RQ2 トマソンサンプリングは、代替選択戦略と比較して、ランカーの局所的バッチ内でのレグレットをどの程度低減できるか？
• RQ3 MergeDTSは、大規模なコンドラセ設定において、時間計算量を低く抑えつつ、レグレットをどの程度低減できるか？
• RQ4 実世界のウェブ検索評価シナリオにおいて、MergeDTSは最先端のディュエルバンディットアルゴリズムと比較してどの程度の性能を発揮するか？
• RQ5 バッチサイズと統合戦略の影響は、アルゴリズム全体のレグレットと収束速度にどの程度及ぶか？

主な発見

• MergeDTSは、大規模オンラインランカー評価において、既存のディュエルバンディットアルゴリズムと比較して顕著にレグレットを低減した。
• ランカーの比較を小さなバッチに局所化することで、時間計算量を低く抑えることに成功した。
• バッチ内でのトマソンサンプリングにより、非最適なランカーを含む比較が効果的に削減され、効率性が向上した。
• 分割統治戦略により、数百乃至数千のランカーを評価する場合でもスケーラブルな性能を発揮した。
• ウェブ検索の実例を用いた実証的評価から、MergeDTSはレグレットと計算効率の両面で最先端の手法を上回ることが確認された。
• 単一の最適ランカーが存在するコンドラセ仮定の下でも、本手法は強固な性能を維持した。