[論文レビュー] Learning the distribution with largest mean: two bandit frameworks

Emilie Kaufmann, Aurélien Garivier|Springer Link (Chiba Institute of Technology)|Jan 31, 2017

Advanced Bandit Algorithms Research参考文献 42被引用数 7

ひとこと要約

本稿は、平均が最大の分布を学習するための2つのバンディットフレームワーク—レグレット最小化と最良腕同定—を比較する。kl-UCBおよびTrack-and-Stopという漸近的最適なアルゴリズムを提示し、それらのサンプリング戦略と複雑度測度が根本的に異なることを示している。レグレット最小化は最良腕の活用に注力するが、最良腕同定は高速かつ信頼性の高い最良腕の同定を達成するための探索をバランスさせる。

ABSTRACT

Over the past few years, the multi-armed bandit model has become increasingly popular in the machine learning community, partly because of applications including online content optimization. This paper reviews two different sequential learning tasks that have been considered in the bandit literature ; they can be formulated as (sequentially) learning which distribution has the highest mean among a set of distributions, with some constraints on the learning process. For both of them (regret minimization and best arm identification) we present recent, asymptotically optimal algorithms. We compare the behaviors of the sampling rule of each algorithm as well as the complexity terms associated to each problem.

研究の動機と目的

• マルチアームバンディットにおける2つの逐次学習フレームワーク—レグレット最小化と最良腕同定—を比較すること。
• 両フレームワークにおけるアルゴリズムの漸近的最適性を分析し、サンプリングルールと複雑度項に注目すること。
• 具体的には、レグレット最小化におけるkl-UCBと最良腕同定におけるTrack-and-Stopのサンプリング戦略の違い—特にドローの割合と信頼区間—を対比すること。
• 両問題における情報理論的複雑度測度を検討し、最良腕の平均が最大である腕を同定することを目的としているが、構造的に異なることを示すこと。
• 特に、Explore-Then-Commit戦略の文脈において、レグレットと同定時間のトレードオフを評価すること。

提案手法

• K本の腕を持つマルチアームバンディットモデルを用い、各腕aには分布ν^aと平均μ_aが関連付けられる。
• レグレット最小化にkl-UCBアルゴリズムを適用し、Kullback-Leibler発散に基づく上位信頼区間を用いて、探索と活用のバランスを図る。
• 最良腕同定にTrack-and-Stopアルゴリズムを用い、最適なドロー分布w*(μ)に収束するように動的にサンプリング比率を調整することで、同定時間を最小化する。
• 両アルゴリズムを漸近的解析を用いて分析し、KL発散を用いた関数として、限界レグレットと期待停止時刻を導出する。
• シミュレーションを通じてサンプリングルールを比較し、両アルゴリズム下での各腕のドロー回数と信頼区間を可視化する。
• 最良腕同定の複雑度項T*(μ)を、KL発散を含む凸最適化問題の解として導出し、サブオプティマル腕のμ*-μ_aの和を含むレグレット複雑度項と比較する。

実験結果

リサーチクエスチョン

• RQ1 レグレット最小化と最良腕同定のアルゴリズムにおけるサンプリング戦略は、腕ごとのドロー割り当てにおいてどのように異なるか？
• RQ2 レグレット最小化と最良腕同定のそれぞれの漸近的複雑度項は何か？また、腕の分布間のKL発散とどのように関係しているか？
• RQ3 最良腕同定のツールは、例えばExplore-Then-Commitフレームワークにおいて、レグレット最小化戦略に効果的に統合できるか？
• RQ4 なぜ、固定信頼度での最良腕同定を用いたExplore-Then-Commit戦略のレグレットは、kl-UCBのような漸近的最適なレグレット最小化アルゴリズムの2倍以上になるのか？
• RQ5 Track-and-Stopに対して有限時間保証は達成可能か、それともその分析は漸近的最適性に限定されるのか？

主な発見

• レグレット最小化のkl-UCBアルゴリズムは、最良腕をO(T)回、非最良腕をo(log T)回ドローし、累積レグレットを低く保つ。
• 最良腕同定のTrack-and-Stopアルゴリズムは、経験的ドローカウントがw*(μ)に収束することを保証する。ここでw*(μ)はすべての成分が正のベクトルであり、高速かつ信頼性の高い最良腕の同定を可能にする。
• 一様効率的戦略の漸近的レグレットは、lim_{T→∞} R_μ^π(T)/log T = ∑_{a:μ_a<μ*} (μ*-μ_a)/d(μ_a,μ*)を満たす。ここでdはKL発散を表す。
• 最良腕同定におけるPAC最適戦略の期待停止時刻は、lim_{δ→0} E_μ[τ_δ]/log(1/δ) = T*(μ)を満たす。ここでT*(μ)はKLに基づく最適化問題の解である。
• 最良腕同定を用いたExplore-Then-Commit戦略（δ=1/T）では、kl-UCBの2倍以上のレグレットが生じる。これは根本的な性能差を示している。
• Track-and-Stopは漸近的最適性を有するが、有限時間解析が欠如しており、kl-UCBのようなレグレット最小化アルゴリズムと比較して実装がより複雑である。