[論文レビュー] Multiarmed Bandits With Limited Expert Advice

Satyen Kale|arXiv (Cornell University)|Jun 19, 2013

Advanced Bandit Algorithms Research参考文献 8被引用数 6

ひとこと要約

この論文は、COLT 2013の未解決問題であるアドバイス効率の良いマルチアームバンディット問題を解決し、各ラウンドで$N$人の専門家の中から$M$人だけを問い合わせる条件下で、$\tilde{O}\left(\sqrt{\frac{\min\{K,M\}N}{M}T}\right)$のレグレットバウンドを達成するアルゴリズムを提案している。この手法はグループベースの専門家集約と損失推定を用い、理論的保証により、一致する下界を用いてバウンドがほぼタイトであることが示されている。

ABSTRACT

We solve the COLT 2013 open problem of \citet{SCB} on minimizing regret in the setting of advice-efficient multiarmed bandits with expert advice. We give an algorithm for the setting of K arms and N experts out of which we are allowed to query and use only M experts' advices in each round, which has a regret bound of ilde{O}\bigP{\sqrt{\frac{\min\{K, M\} N}{M} T}} after T rounds. We also prove that any algorithm for this problem must have expected regret at least ildeΩ\bigP{\sqrt{\frac{\min\{K, M\} N}{M}T}}, thus showing that our upper bound is nearly tight.

研究の動機と目的

• アドバイス効率の悪いマルチアームバンディットにおけるレグレットを最小化するためのCOLT 2013の未解決問題に取り組む。
• 利用可能な$N$人の専門家の中から各ラウンドでたった$M$人の専門家の助言のみを効率的に活用するアルゴリズムを設計する。
• $M=1$と$M=N$の既知のバウンドの間を滑らかに補間し、ほぼ最適なレグレットバウンドを達成する。
• ほぼ一致する下界を証明し、提案されたレグレットバウンドのタイトさを確立する。

提案手法

• アルゴリズムは$N$人の専門家を$R = N/M$個のサイズ$M$のグループに分割し、予測の専門家フレームワークを用いてこれらのグループの上に分布を維持する。
• 各ラウンドで、グループの分布$r_t$からグループ$I_t$をサンプリングし、選択されたグループのアドバイス分布$p_t^{I_t}$からアーム$A_t$をサンプリングする。
• 逆確率重み付け損失推定子$\hat{\ell}_t^i(a)$を用いて、問い合わせた$M$人の専門家に対してのみ損失を推定し、計算効率と不偏推定を保証する。
• 予測のためのPolyINFフォレキャスターまたは乗法的重み法を用い、Kullback-Leibler発散と集中不等式に基づくレグレット解析を実施する。
• ボールをバケツに投げるプロセスを活用して、同じアームを推薦する専門家の期待数をバウンドし、レグレットに$\min\{K,M\}$の要因が現れるようにする。
• ストキャスティック支配の議論と測度変更技術を用いて下界を導出し、上界がほぼタイトであることを示す。

実験結果

リサーチクエスチョン

• RQ1 各ラウンドで$M$人の専門家を問い合わせる制限付きで、アドバイス効率の悪いマルチアームバンディット設定において、サブラインアーなレグレットを達成できるアルゴリズムを設計できるか？
• RQ2 レグレットの観点から、専門家の数$N$、問い合わせ数$M$、アーム数$K$の間の最適なトレードオフは何か？
• RQ3 Seldinら[8]が提唱したレグレットバウンド$O\left(\sqrt{\frac{KN\log N}{M}T}\right)$はタイトか、それ以上に改善可能か？
• RQ4 この設定における情報理論的下界は何か？ そして、上界と比較するとどうなるか？

主な発見

• この提案アルゴリズムは、$T$ラウンド後、期待レグレットが$4\sqrt{\frac{\min\{K,M\}N\log(8M/\min\{K,M\})}{M}T}$に達する。
• 特殊ケース$M=1$および$M=N$における既存の最良の結果と一致し、滑らかにそれらの間を補間する。
• Seldinら[8]が提唱した予想バウンド$O\left(\sqrt{\frac{KN\log N}{M}T}\right)$よりも改善されている。
• ほぼ一致する下界$\tilde{\Omega}\left(\sqrt{\frac{\min\{K,\frac{M}{\log K}\}N}{M}T}\right)$が証明され、上界がほぼタイトであることが示された。
• 分析により、有効なアーム数は$K' = \min\{K,M\}$であることが判明し、これは専門家の推薦重複に起因するレグレットスケーリングを支配する。
• 下界の構築には、ベルヌーイ損失とボールをバケツに投げるプロセスを用いた測度変更の議論が用いられ、同じアームを推薦する専門家の最大数がバウンドされた。