[論文レビュー] Copeland Dueling Bandits

Masrour Zoghi, Zohar Karnin+2 more|arXiv (Cornell University)|Jun 1, 2015

Advanced Bandit Algorithms Research参考文献 42被引用数 10

ひとこと要約

本稿では、コンドルセット勝者が存在しない状況を想定した、2つの新しいデュエルバンドイットアルゴリズム—コペランド信頼区間（CCB）とスケーラブル・コペランド・バンドイット（SCB）—を提案する。コペランド勝者（常に存在することが保証される）を標的とすることで、制限的な仮定を必要とせず、$Ó(K\log T)$のレグレットバウンドを達成する。これは、従来の手法がコンドルセット仮定を必要としていたり、$\mathcal{O}(K^2\log T)$のレグレットを負担していたのを著しく改善する。

ABSTRACT

A version of the dueling bandit problem is addressed in which a Condorcet winner may not exist. Two algorithms are proposed that instead seek to minimize regret with respect to the Copeland winner, which, unlike the Condorcet winner, is guaranteed to exist. The first, Copeland Confidence Bound (CCB), is designed for small numbers of arms, while the second, Scalable Copeland Bandits (SCB), works better for large-scale problems. We provide theoretical results bounding the regret accumulated by CCB and SCB, both substantially improving existing results. Such existing results either offer bounds of the form $O(K \log T)$ but require restrictive assumptions, or offer bounds of the form $O(K^2 \log T)$ without requiring such assumptions. Our results offer the best of both worlds: $O(K \log T)$ bounds without restrictive assumptions.

研究の動機と目的

• 既存のデュエルバンドイットアルゴリズムがコンドルセット勝者を必要としているという制限を解決すること。これは現実の状況では存在しない可能性がある。
• コンドルセット勝者が存在しない状況におけるレグレットバウンドを提供すること。これは情報検索やオンラインA/Bテストなどの実世界の応用で一般的な問題である。
• 理論的にも妥当で、実用的にもスケーラブルなアルゴリズムを設計すること。1つは小規模な$K$に最適化され、もう1つは大規模な問題に適している。
• 既存手法の長所を組み合わせることで、制限的な仮定なしに$\mathcal{O}(K\log T)$のより緊密なレグレットバウンドを達成すること。

提案手法

• コペランドスコアが高く、ペアワイズの勝利確率の信頼区間を用いて、上界と下界を推定することで、コペランドスコアが優れた腕を特定する、UCBに類似したアルゴリズムであるコペランド信頼区間（CCB）を提案する。
• コペランド勝者になり得る腕に焦点を当てたサンプリング戦略を採用することで、レグレットバウンドにおける$\mathcal{O}(K^2)$項を削減した、より効率的なバージョンのスケーラブル・コペランド・バンドイット（SCB）を導入する。
• コペランドスコア（ある腕が他の腕に勝つ数）を定義し、コンドルセット勝者が存在しない状況での最良の腕（複数可）を特定する主な指標として用いる。
• 推定誤差をバウンドし、真のコペランド勝者への収束を保証するために、高確率の集中不等式と信頼区間を適用する。
• 初期段階での十分な探索を保証するため、$C(\delta)$に基づくしきい値処理機構を用い、探索と活用のバランスを取る。
• ペアワイズ比較の構造と勝利・敗北の対称性を活用して、重複する比較を削減し、サンプル効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 コンドルセット勝者が存在しないという仮定なしに、$\mathcal{O}(K\log T)$のレグレットバウンドを達成できるデュエルバンドイットアルゴリズムを設計できるか？
• RQ2 特定の1つの腕が全腕に勝つという状況がない場合、どの腕が最も多くの他腕に勝つか（つまりコペランド勝者か）を効率的に特定するにはどうすればよいか？
• RQ3 大規模なデュエルバンドイット問題において、レグレット性能と計算スケーラビリティのトレードオフは何か？
• RQ4 制限的な仮定を維持したまま、$\mathcal{O}(K^2)$の加法的項を削除できるか？
• RQ5 情報検索のような実世界の設定において、提案手法は既存手法と比較してどのように性能を発揮するか？

主な発見

• CCBは、$\mathcal{O}(K^2 + K\log T)$の任意時刻高確率レグレットバウンドを達成し、以前の手法と比較して、$\Delta_{ij} = |p_{ij} - 0.5|$のギャップに著しく優れた依存性を示す。
• SCBは、$\mathcal{O}(K\log K\log T)$の期待レグレットバウンドを達成し、$\mathcal{O}(K^2)$項を排除することで、大規模な$K$へのスケーラビリティを実現する。
• 両アルゴリズムのレグレットバウンドは$\mathcal{O}(K\log T)$のオーダーであり、コンドルセット仮定下での最良の既知の結果と同等の性能を示すが、その仮定は必要としない。
• 情報検索データセットにおける実験的評価により、CCBおよびSCBが非コンドルセット状況で既存手法を上回ることを確認した。性能は理論的予測と整合的である。
• Kが小さく、腕が明確に分離されている場合にはCCBが優れているが、大規模な設定ではSCBがそのより緊密なレグレットバウンドにより優れた性能を発揮する。
• 本稿では、Kが増加するに従い、コンドルセット勝者が存在する確率が急速に減少することを示しており、実際の応用においてCCBやSCBのようなアルゴリズムの必要性を裏付けている。