[論文レビュー] Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm

Junpei Komiyama, Junya Honda+1 more|arXiv (Cornell University)|May 5, 2016

Advanced Bandit Algorithms Research参考文献 27被引用数 6

ひとこと要約

この論文は、相対的経験的発散度と最小経験的発散度の原則を活用することで、漸近的に最適なリグレットを達成する計算的に効率的なECW-RMEDアルゴリズムを導入する。コペランド勝者特定のためのリグレット下界を確立し、理論的保証と既存手法に対する実験的優位性を示してECW-RMEDの最適性を証明する。

ABSTRACT

We study the K-armed dueling bandit problem, a variation of the standard stochastic bandit problem where the feedback is limited to relative comparisons of a pair of arms. The hardness of recommending Copeland winners, the arms that beat the greatest number of other arms, is characterized by deriving an asymptotic regret bound. We propose Copeland Winners Relative Minimum Empirical Divergence (CW-RMED) and derive an asymptotically optimal regret bound for it. However, it is not known whether the algorithm can be efficiently computed or not. To address this issue, we devise an efficient version (ECW-RMED) and derive its asymptotic regret bound. Experimental comparisons of dueling bandit algorithms show that ECW-RMED significantly outperforms existing ones.

研究の動機と目的

• 二項比較を用いて、他のアームを最も多く上回るアームを特定するフレームワークとしてコペランド二択バンディット問題を形式化すること。
• 二択バンディット設定におけるコペランド勝者特定のためのリグレット下界を導出すること。
• コペランド勝者特定のための漸近的に最適なアルゴリズムCW-RMEDを提案し、その計算上的非実行可能性に対処すること。
• 理論的漸近最適性が保証される計算的に効率的なCW-RMEDの変種であるECW-RMEDを設計すること。
• ECW-RMEDの既存の二択バンディットアルゴリズムに対する優位性を実験的に検証すること。

提案手法

• 論文は、二項比較フィードバックの構造に基づいて、コペランド二択バンディット問題の漸近的リグレット下界を導出する。
• 相対的最小経験的発散度を用いて、ペアワイズ勝率と推定コペランドスコアに基づきアームの優先順位を付けるアルゴリズムCW-RMEDを提案する。
• KL発散度と経験的分布最小化の理論的枠組みを適用して、探索と活用のバランスを取る。
• ECW-RMEDは、グリーディで低複雑性の戦略によるアームペアの選択最適化を通じて、CW-RMEDの計算的に効率的な変種として設計される。
• 理論的分析では、意思決定領域の連続性と開集合性の議論を用い、集中不等式を適用してリグレットをバウンディングする。
• アルゴリズムは信頼区間とイベントベースの分析を用い、コペランド勝者定義下での漸近的最適性を保証する。

実験結果

リサーチクエスチョン

• RQ1 二択バンディット問題におけるコペランド勝者特定のためのリグレットの根本的下界は何か？
• RQ2 コペランド二択バンディット問題において、リグレットの漸近的最適性を達成できるアルゴリズムは存在するか？
• RQ3 コペランド勝者特定のリグレットにおいて、漸近的最適性を維持しながら計算的に効率的なアルゴリズムを設計することは可能か？
• RQ4 ECW-RMEDは、既存の二択バンディットアルゴリズムと比較して、リグレットと実験的性能の面でどのように異なるか？
• RQ5 CW-RMEDの理論的性質を著しく計算コストを削減しながらも、維持することは可能か？

主な発見

• 論文は、コペランド二択バンディット問題のためのリグレット下界を確立し、性能評価の理論的基盤を提供する。
• CW-RMEDは漸近的に最適なリグレットを達成し、導出された下界と一致し、時間枠が非常に大きい極限において最適であることが証明されている。
• ECW-RMEDは計算的に効率的であり、漸近的最適性を維持しており、有限のKおよび有界パラメータに対して、リグレットがO((K(C+L₁+1)) log T)でバウンディングされる。
• 実験的評価では、累積リグレットの観点でECW-RMEDがRUCB、RMED、CCBを含む既存の二択バンディットアルゴリズムを著しく上回ることが示された。
• 理論的分析により、ECW-RMEDが最適意思決定領域の連続性と一意性を保つことが確認され、コペランド勝者への安定した収束が保証される。
• 仮定のもとで、アルゴリズムのリグレットがo(log T)であることが示され、その効率性とスケーラビリティが確認された。