[論文レビュー] Selecting the best system, large deviations, and multi-armed bandits

Peter W. Glynn, Sandeep Juneja|arXiv (Cornell University)|Jul 16, 2015

Advanced Bandit Algorithms Research参考文献 23被引用数 3

ひとこと要約

この論文は、大偏差率推定が、1−δの信頼度で最良の母集団を特定する際にO(log(1/δ))のサンプル複雑性を可能にするという仮定に挑戦する。非有界サポートの下では、モーメント制約がなければ、そのような保証は根本的になされないことが証明され、推定された率関数自体が大偏差原理に従うことも示され、シミュレーションベースの選択アルゴリズムにおける理論的洞察が得られる。

ABSTRACT

Consider the problem of finding a population amongst many with the largest mean when these means are unknown but population samples can be generated via simulation. Typically, by selecting a population with the largest sample mean, it can be shown that the false selection probability decays at an exponential rate. Lately researchers have sought algorithms that guarantee that this probability is restricted to a small $\delta$ in order $\log(1/\delta)$ computational time by estimating the associated large deviations rate function via simulation. We show that such guarantees are misleading. Enroute, we identify the large deviations principle followed by the empirically estimated large deviations rate function that may also be of independent interest. Further, we show a negative result that when populations have unbounded support, under mild restrictions, any policy that asymptotically identifies the correct population with probability at least $1-\delta$ for each problem instance requires more than $O(\log(1/\delta))$ samples in making such a determination in any problem instance. This suggests that some restrictions are essential on populations to devise $O(\log(1/\delta))$ algorithms with $1 - \delta$ correctness guarantees. We note that under restriction on population moments, such methods are easily designed. We also observe that sequential methods from stochastic multi-armed bandit literature can be adapted to devise such algorithms.

研究の動機と目的

• 大偏差率推定を用いて、1−δの信頼度で最良の母集団を特定する際、O(log(1/δ))のサンプル複雑性が達成可能かどうかを調査すること。
• 経験的に推定された大偏差率関数の大きな偏差行動を分析すること。
• このような効率的なアルゴリズムが存在するためにはモーメント制約が必要かどうかを特定すること。
• 1−δの正しさを保証する条件下で、逐次的マルチアームバンディット手法がO(log(1/δ))のサンプル数で達成可能かどうかを評価すること。

提案手法

• 大偏差理論を用いて、経験的に推定された大偏差率関数が従う大偏差原理を導出する。
• 非有界な母集団サポート下での選択アルゴリズムの漸近的挙動を分析する。
• 否定的結果を確立：すべてのインスタンスに対して1−δの正しさを達成するいかなる方策も、サポートが非有界である場合にはO(log(1/δ))を超えるサンプル数を必要とする。
• やや穏やかなモーメント制約を用いて、このような条件下でO(log(1/δ))アルゴリズムが可能であることを示す。
• 逐次的な確率的マルチアームバンディット戦略を適応させ、モーメント制約下で有効なO(log(1/δ))アルゴリズムを構築する。
• シミュレーションベースの推定を用いて大偏差率関数を評価し、選択性能と誤差の減少率を検証する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションによる大偏差率推定が、1−δの信頼度で最良の母集団を特定する際にO(log(1/δ))のサンプル複雑性を保証できるか？
• RQ2 経験的に推定された大偏差率関数に従う大偏差原理は何か？
• RQ3 母集団のサポートが非有界である場合、O(log(1/δ))のサンプル複雑性は根本的になされないのか？
• RQ4 O(log(1/δ))のアルゴリズムを1−δの正しさ保証で達成するにはモーメント制約が必要か？
• RQ5 既存の逐次的マルチアームバンディット手法は、モーメント制約下でこのような保証を達成するために適応可能か？

主な発見

• 非有界な母集団サポートとやや穏やかな制約の下では、すべての問題インスタンスで1−δの正しさをO(log(1/δ))のサンプル数で達成できる方策は存在しない。
• 経験的に推定された大偏差率関数は、独自の大偏差原理に従う。これは理論的にも独立した関心を引く。
• 母集団のモーメントが有界である場合、1−δの正しさ保証を伴うO(log(1/δ))アルゴリズムを構築可能である。
• 標準的なサンプリングでは誤って選択する確率は指数関数的に減少するが、これは1−δの信頼度を保証するO(log(1/δ))のサンプル複雑性を意味するわけではない。
• 逐次的マルチアームバンディット手法は、モーメント制約下でO(log(1/δ))のサンプル複雑性を達成するために適応可能である。
• 本論文は、非有界サポート下での根本的限界のため、既存の大偏差に基づくアプローチが実際には誤解を招く可能性があることを明らかにした。