[論文レビュー] Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem

Junpei Komiyama, Junya Honda+2 more|arXiv (Cornell University)|Jun 8, 2015

Advanced Bandit Algorithms Research参考文献 9被引用数 20

ひとこと要約

本稿では、順序比較における経験的発散の最小化によって漸近的に最適なリグレットを達成する、新しいデュエルバンドイットアルゴリズムRMEDを提案する。情報理論的リグレット下界をカルバック・ライバラー発散に基づきタイトに確立し、RMEDのリグレットがこの下界と一致することを証明した。これはコンドラセット仮定の下で理論的・実用的両面で先行手法を上回る。

ABSTRACT

We study the $K$-armed dueling bandit problem, a variation of the standard stochastic bandit problem where the feedback is limited to relative comparisons of a pair of arms. We introduce a tight asymptotic regret lower bound that is based on the information divergence. An algorithm that is inspired by the Deterministic Minimum Empirical Divergence algorithm (Honda and Takemura, 2010) is proposed, and its regret is analyzed. The proposed algorithm is found to be the first one with a regret upper bound that matches the lower bound. Experimental comparisons of dueling bandit algorithms show that the proposed algorithm significantly outperforms existing ones.

研究の動機と目的

• 情報発散を用いてK腕デュエルバンドイット問題のタイトな漸近的リグレット下界を確立すること。
• この下界に達するアルゴリズムを設計し、漸近的最適性を保証すること。
• ホライズンの知識を必要とするか、確率的推移性などの制限付き仮定を課す先行アルゴリズムの限界を克服すること。
• 提案されたアルゴリズムが、既存のデュエルバンドイット手法と比較して顕著に優れていることを実験的に示すこと。

提案手法

• 真の好み分布からの経験的発散を最小化する基準でアームを選択する、相対的最小経験的発散（RMED）アルゴリズムを提案する。
• 2段階のアプローチを採用：初期段階では一様な比較によりペairワイズ好みを推定し、その後の学習段階では発散最小化に従って行動する。
• コンドラセット優勝者からの推定発散が低いアームを優先する信頼区間ベースの選択ルールを採用する。
• RMED1およびRMED2FHの変種を導入し、後者は最適アームの好み強度の推定を向上させるためにランダム化された初期段階を組み込む。
• 集中不等式およびチェルノフバウンドを用いて、非最適アームの選択確率を制限することでリグレットを分析する。
• 非最適アームの選択確率が指数関数的に減少することを証明することで、理論的リグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 コンドラセット仮定の下で、デュエルバンドイット問題の最もタイトな漸近的リグレット下界は何か？
• RQ2 この理論的下界に一致するリグレットを達成するアルゴリズムを設計できるか？
• RQ3 RUCB、BTM、SAVAGEといった既存のデュエルバンドイット手法と比較して、RMEDのリグレットおよび収束性能はどのように異なるか？
• RQ4 初期探索段階は、コンドラセット優勝者を正確に特定し、リグレットを最小化するために果たす役割は何か？
• RQ5 初期段階長の選択が、RMED2FH変種のリグレット性能にどのように影響を与えるか？

主な発見

• 本稿では、情報発散に基づくデュエルバンドイット問題のタイトな漸近的リグレット下界を確立した。これは、タイトかつ解析的に導出された最初の下界である。
• 提案されたRMEDアルゴリズムは、この下界と一致するリグレットを達成し、漸近的最適性を証明した。
• 実験結果から、RUCB、BTM、SAVAGEといった既存手法と比較して、複数のデータセットにおいてRMEDの累積リグレットが顕著に優れていることが示された。
• 最適化された初期段階長を有するRMED2FH変種は、ほぼ最適な性能を達成するが、非最適な段階長では初期段階での特定が不十分または過剰なリグレットが生じる。
• 理論的分析により、非最適アームの選択確率が指数関数的に減少することが確認され、アルゴリズムの長期的効率性が裏付けられた。
• RMED1のリグレットは理論的下界に収束し、RMED2は非理想的な好み構造（循環的好みなど）においても真の下界に収束する。