[論文レビュー] Upper-Confidence-Bound Algorithms for Active Learning in Multi-Armed Bandits

Alexandra Carpentier, Alessandro Lazaric+4 more|arXiv (Cornell University)|Jul 16, 2015

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本稿では、有限なサンプル予算下でアームの平均を一様に良く推定することを目的とした、2つのUCBに基づくアクティブラーニングアルゴリズム—CH-ASおよびB-AS—を提案する。両アルゴリズムは、経験的分散の高確率的上界に基づいてサンプルを段階的に割り当てることで、$\tilde{O}(n^{-3/2})$ のレグレットレートを達成する。特にガウス分布の仮定下では、B-ASは最小最適割り当て割合 $\lambda_{\min}$ に向けた依存性が改善されており、より良い性能を示す。

ABSTRACT

In this paper, we study the problem of estimating uniformly well the mean values of several distributions given a finite budget of samples. If the variance of the distributions were known, one could design an optimal sampling strategy by collecting a number of independent samples per distribution that is proportional to their variance. However, in the more realistic case where the distributions are not known in advance, one needs to design adaptive sampling strategies in order to select which distribution to sample from according to the previously observed samples. We describe two strategies based on pulling the distributions a number of times that is proportional to a high-probability upper-confidence-bound on their variance (built from previous observed samples) and report a finite-sample performance analysis on the excess estimation error compared to the optimal allocation. We show that the performance of these allocation strategies depends not only on the variances but also on the full shape of the distributions.

研究の動機と目的

• 有限なサンプル予算下で複数のアーム平均を一様に良く推定するための適応的サンプリング戦略の設計。
• 既存のアルゴリズムにおける $\lambda_{\min} = \min_k \sigma_k^2 / \sum_j \sigma_j^2$ への逆依存性が本質的であるか、回避可能であるかの調査。
• 分散の不確実性をより効果的に推定することで、サンプル割り当てを改善するUCBベースの戦略の開発。
• 最適割り当てに対する過剰推定誤差の観点から、これらの戦略の有限サンプル性能の分析。
• どのような分布形状下で $\lambda_{\min}$ 依存性がレグレットバウンドから排除可能かの特定。

提案手法

• CH-ASはチェルノフ＝フーディング不等式を用いて経験的分散の上信頼区間を構築し、その上界に比例してサンプルを割り当てる。
• B-ASはCH-ASよりも鋭い集中不等式を用いることで、分散推定を精緻化し、割り当て効率を向上させる。
• 両アルゴリズムとも、観測された経験的分散に基づいて動的にサンプリングを調整し、十分な探索を保証するための停止時刻条件を維持する。
• レグレットは、信頼区間が成立する事象とその補集合に分解して分析され、尾確率と期待値不等式が用いられる。
• 条件付き期待値と独立性の性質を活用して、平均推定量の期待二乗誤差とプル回数の逆数との関係を示す補題を導出する。
• 集中不等式と信頼区間の失敗確率のバウンドを用いて理論的レグレットバウンドを導出し、明示的な定数と対数的依存性を含む。

実験結果

リサーチクエスチョン

• RQ1 一般の分布に対して、アクティブラーニングバンドイット問題のレグレットバウンドにおける $\lambda_{\min}$ への逆依存性を排除できるか。
• RQ2 UCB構築により鋭い集中不等式を用いることで、有限サンプル性能が向上し、レグレットが低減するか。
• RQ3 $\lambda_{\min}$ 依存性は解析の結果に起因するものか、それとも特定の分布形状下での問題の本質的制限を反映しているか。
• RQ4 どのような分布仮定（例：ガウス分布）下で $\lambda_{\min}$ 依存性をレグレットバウンドから排除できるか。
• RQ5 提案されたUCBベースの戦略は、GAFS-MAXなどの既存アルゴリズムと比較して、推定精度および分散非定常性へのロバストネスにおいてどのように差をつけるか。

主な発見

• CH-ASは明示的な定数を伴い、$n$ に対してすべての $n$ で成立する $\tilde{O}(n^{-3/2})$ のレグレットバウンドを達成する。これは、従来の手法が大規模な $n$ を要するのとは対照的である。
• B-ASはより鋭い集中不等式を用いることでCH-ASを改善し、最適割り当て戦略に近づくために必要なプル回数を削減する。
• B-ASのレグレットは、プル回数からレグレットへの変換に起因して、依然として $\lambda_{\min}$ に逆依存性を示す。これは、一般には避けがたい可能性を示唆している。
• ガウス分布のアームに対しては、$\lambda_{\min}$ に依存しないレグレットバウンドを導出でき、依存性が分布に依存することを示している。
• 実験結果では、B-ASとGAFS-MAXは $\lambda_{\min}$ 依存性のないガウスアームで良好な性能を示し、CH-ASはその依存性を示す。これは理論的結果を支持する。
• B-ASの最終的なレグレットバウンドは $\leq \frac{105 \times 10^3 \bar{\Sigma}}{n^{3/2}} K^2 (\log n)^2$ であり、$c_1 = 2\bar{\Sigma}$ および $c_2 = 1$ から導かれた明示的な定数を含む。