[論文レビュー] Solving Bernoulli Rank-One Bandits with Unimodal Thompson Sampling

Cindy Trinh, Emilie Kaufmann+2 more|arXiv (Cornell University)|Dec 6, 2019

Advanced Bandit Algorithms Research参考文献 23被引用数 9

ひとこと要約

本稿では、ベルヌーイ型ランク1バンディット問題に対して、unimodal構造を活用することで漸近的に最適なリグレットを達成するUnimodal Thompson Sampling (UTS) を提案する。シミュレーションでは、Rank1ElimKL よりも少なくとも20倍の性能向上を達成し、既存のリグレットの上界と下界の差を埋めることに成功した。

ABSTRACT

Stochastic Rank-One Bandits (Katarya et al, (2017a,b)) are a simple framework for regret minimization problems over rank-one matrices of arms. The initially proposed algorithms are proved to have logarithmic regret, but do not match the existing lower bound for this problem. We close this gap by first proving that rank-one bandits are a particular instance of unimodal bandits, and then providing a new analysis of Unimodal Thompson Sampling (UTS), initially proposed by Paladino et al (2017). We prove an asymptotically optimal regret bound on the frequentist regret of UTS and we support our claims with simulations showing the significant improvement of our method compared to the state-of-the-art.

研究の動機と目的

• ベルヌーイ型ランク1バンディット問題における既存のリグレットの上界と下界の差を埋めること。
• ランク1バンディット問題がunimodal banditsの特別なケースであることを示し、unimodalアルゴリズムの適用を可能にすること。
• 一般unimodal設定におけるUnimodal Thompson Sampling (UTS) の新たなリグレット解析を提供すること。
• UTSがRank1ElimKL や KL-UCB といった既存のアルゴリズムをシミュレーションで上回ることを実証的に検証すること。
• UTSにおけるリーダー探索パラメータ γ の役割と、そのパフォーマンスへの影響を調査すること。

提案手法

• 著者らは、ランク1バンディット問題がunimodal banditsの特別なケースであることを理論的に証明し、Unimodal Thompson Sampling (UTS) の適用を可能にした。
• UTSはパラメータ γ を用いたリーダー探索スキームを採用し、探索と活用のバランスを図る。γ=2 が実験的に最適なパフォーマンスをもたらすことが示された。
• アルゴリズムは、最適なアームがunimodalなアームの順序付けにおいて一意の最大値をとるというunimodal構造に基づいて、事後分布からのサンプリングによりアームを選択する。
• 一般unimodalバンディット設定におけるUTSのための新たなリグレット解析が開発され、漸近的最適性が確立された。
• ベルヌーイ分布に従う報酬に適用され、各アーム (i,j) の期待報酬 μ(i,j) は μ(i,j) = u_i v_j として定義され、ランク1行列を形成する。
• 理論的解析により、UTSがLai-Robbinsの下界と定数倍の差異で一致するリグレットバウンドを達成することが示された。

実験結果

リサーチクエスチョン

• RQ1 ランク1バンディット問題は、unimodal bandits問題に再定式化可能であり、これにより既存のunimodalアルゴリズムの適用が可能になるか？
• RQ2 Unimodal Thompson Sampling (UTS) はベルヌーイ型ランク1バンディット設定において漸近的に最適なリグレットを達成するか？
• RQ3 ランク1バンディット問題におけるUTSの探索パラメータ γ の最適値は何か？
• RQ4 UTSは、Rank1ElimKL や KL-UCB といった最先端のアルゴリズムと比較して、リグレットの観点でどのように性能を発揮するか？
• RQ5 UTSにおけるリーダー探索はパフォーマンスを向上させるか？この効果は他の構造的バンディット問題にも一般化可能か？

主な発見

• 理論的解析とシミュレーションの両面から、UTSはLai-Robbinsの下界と一致する漸近的最適なリグレットを達成することが確認された。
• T=300,000 時点での累積リグレットは、テストされたインスタンスにおいて、最先端のRank1ElimKLアルゴリズムと比較して少なくとも20倍低い。
• 実験結果から、γ=2 が最良のパフォーマンスを示し、より高い γ 値や γ=∞ と比較して、より低いリグレットとより速い収束を達成した。
• UTSとOSUBの両方が理論的下界に漸近的に一致するが、KL-UCB は顕著に大きなリグレット勾配を示し、非最適性が確認された。
• UTSのリグレットは T に関して対数的に増加することが確認され、漸近的最適性が裏付けられた。時間経過に伴う性能差も、理論的優位性を裏付けた。
• リーダーの探索を強制することで（γ を用いて）、ランク1バンディット問題においてパフォーマンスが向上することが確認された。これは他の構造的バンディット問題に対しても利点をもたらす可能性を示唆している。