[論文レビュー] Regret Analysis for Continuous Dueling Bandit

Wataru Kumagai|arXiv (Cornell University)|Nov 21, 2017

Advanced Bandit Algorithms Research参考文献 8被引用数 7

ひとこと要約

本稿は、ノイズのある対比較を用いた連続的デュエルバンドイット問題に対する確率的ミラー降下法を提案し、強い凸性と滑らかさの仮定の下で $O(\sqrt{T\log T})$ のレグレットバウンドを達成する。デュエルバンドイットにおけるレグレット最小化と凸最適化の間の同等性を確立し、両設定においてほぼ最適な収束速度を達成していることが示され、対数因子を除いて最適である。

ABSTRACT

The dueling bandit is a learning framework wherein the feedback information in the learning process is restricted to a noisy comparison between a pair of actions. In this research, we address a dueling bandit problem based on a cost function over a continuous space. We propose a stochastic mirror descent algorithm and show that the algorithm achieves an $O(\sqrt{T\log T})$-regret bound under strong convexity and smoothness assumptions for the cost function. Subsequently, we clarify the equivalence between regret minimization in dueling bandit and convex optimization for the cost function. Moreover, when considering a lower bound in convex optimization, our algorithm is shown to achieve the optimal convergence rate in convex optimization and the optimal regret in dueling bandit except for a logarithmic factor.

研究の動機と目的

• 行動空間が連続で、比較可能なペアワイズ比較しか得られないデュエルバンドイット問題に対処すること。
• コスト関数の強い凸性と滑らかさの下で、低レグレットを達成するアルゴリズムを開発すること。
• ノイズのある比較を伴うデュエルバンドイットにおけるレグレット最小化と凸最適化の理論的同等性を明確にすること。
• タイトなレグレットおよび収束速度のバウンドを確立し、提案手法のほぼ最適性を示すこと。
• ノイズのあるフィードバック下でのデュエルバンドイット学習と関数最適化の間のギャップを埋めること。

提案手法

• 連続的デュエルバンドイット問題に特化した新しい確率的ミラー降下法（NC-SMD）を提案。
• コスト関数 $f$ とリンク関数 $\sigma$ を用いてペアワイズの好みをモデル化し、$P(a \succ a') = \sigma(f(a') - f(a))$ と定式化。
• 連続的行動空間を効率的に処理するため、ミラー降下フレームワークに自己適合バリア関数を採用。
• コスト関数 $f$ の強い凸性と滑らかさ、リンク関数 $\sigma$ の滑らかさを用いて、レグレットバウンドを導出。
• フィードバックメカニズムの変換を通じて、デュエルバンドイットのレグレットと凸最適化の誤差の間の同等性を確立。
• ノイズのある関数最適化の下界（Shamir, 2013）を活用し、アルゴリズムの収束速度がほぼ最適であることを示した。

実験結果

リサーチクエスチョン

• RQ1 確率的ミラー降下法は、ペアワイズ比較フィードバックのみを用いた連続的デュエルバンドイット問題において、サブ線形なレグレットバウンドを達成できるか？
• RQ2 ノイズのある比較下で、デュエルバンドイットにおけるレグレット最小化と凸最適化の間に根本的な同等性があるか？
• RQ3 提案されたアルゴリズムは、デュエルバンドイットおよび凸最適化の両フレームワークにおいて、ほぼ最適な収束速度を達成するか？
• RQ4 ノイズのあるフィードバック下での凸最適化において、アルゴリズムの性能は理論的下界と比較してどうか？
• RQ5 強い凸性と滑らかさの仮定の下で、$O(\sqrt{T\log T})$ を超えてレグレットバウンドを改善できるか？

主な発見

• 提案された NC-SMD アルゴリズムは、コスト関数の強い凸性と滑らかさの下で $O(\sqrt{T\log T})$ のレグレットバウンドを達成する。
• デュエルバンドイットにおけるレグレットは、ノイズのある比較を伴う凸関数最小化の最適化誤差と理論的に同等である。
• 関数最適化におけるアルゴリズムの収束速度 $O(\sqrt{\log T / T})$ はほぼ最適であり、既知の下界と対数因子を除いて一致する。
• 期待最適化誤差に対する下界 $\Omega(\min\{1, d/\sqrt{T}\})$ が導出され、アルゴリズムの性能がほぼ最適であることが示された。
• アルゴリズムは、対数因子を除いて、デュエルバンドイットおよび凸最適化の両設定で最適な性能を達成する。
• 解析により、適切なノイズ仮定の下で、1ビットの比較フィードバックが、完全なノイズのある関数フィードバックとほぼ同じ収束速度を維持できることを示した。