[論文レビュー] Adaptive Monte Carlo via Bandit Allocation

James Neufeld, András György+2 more|arXiv (Cornell University)|May 13, 2014

Advanced Bandit Algorithms Research参考文献 37被引用数 9

ひとこと要約

本稿では、平均二乗誤差（MSE）を最小化するために、複数の不偏推定量に対して逐次的にサンプリングリソースを割り当てる、バンドイットベースの適応的モンテカルロ手法を提案する。報酬を負の二乗推定量として定義する確率的多腕バンディット問題に帰着することで、最適な事後選択に匹敵するMSEレグレットの境界を達成し、CPU時間を確率的コスト指標として用いるコスト認識設定への拡張も行う。

ABSTRACT

We consider the problem of sequentially choosing between a set of unbiased Monte Carlo estimators to minimize the mean-squared-error (MSE) of a final combined estimate. By reducing this task to a stochastic multi-armed bandit problem, we show that well developed allocation strategies can be used to achieve an MSE that approaches that of the best estimator chosen in retrospect. We then extend these developments to a scenario where alternative estimators have different, possibly stochastic costs. The outcome is a new set of adaptive Monte Carlo strategies that provide stronger guarantees than previous approaches while offering practical advantages.

研究の動機と目的

• 有限個の不偏推定量の集合に対して、それらの組み合わせモンテカルロ推定量の平均二乗誤差（MSE）を最小化する逐次的割り当て戦略を開発すること。
• 推定量の組み合わせ問題を、推定量がアームに対応し、報酬が負の二乗推定量である確率的多腕バンディット（MAB）問題として形式化すること。
• 推定量が異なる、あるいは確率的な計算コストを持つ状況に対応するためのフレームワークの拡張を図ることで、コスト認識型の適応的推定を可能にすること。
• 提案された適応的戦略の理論的レグレット境界を提供し、実際の実験で静的または手動でチューニングされた手法よりも優れた性能を示すこと。
• データサイズや分布の変化に伴い性能が変動する状況でも、手動でのチューニングなしに自動的かつデータ駆動型で最良の推定量構成を選択可能にすること。

提案手法

• 各推定量をバンドイットのアームとし、サンプルされた推定量の負の二乗値を報酬とするように定義することで、適応的モンテカルロ推定問題を確率的多腕バンディット（MAB）問題に変換する。
• MAB定式化におけるいかなる方策のバンドイット・レグレットも、対応する適応的モンテカルロ戦略のMSEレグレットを直接的に束縛できることを活用する。
• ThompsonサンプリングやUCBといった、既に確立されたバンドイットアルゴリズムをMABフレームワーク内に適用し、推定量間でのサンプリングリソースを動的に割り当てる。
• コスト認識設定では、推定量の性能と経過したCPU時間の両方を組み込んだ修正された報酬関数を定義し、第5節の独立コスト定式化を用いる。
• 各推定量の寄与度をその標本分散の逆数に比例させる分散重み付き推定量を、最終的な組み合わせ推定量に実装する。
• データセットサイズの変化に応じて、アニールドインポートランスサブスティチューション（AIS）を用いたベイジアンロジスティック回帰における実験的評価を通じて、適応的戦略と静的構成との比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 有限個の不偏推定量の集合に対して、結合モンテカルロ推定量のMSEを最小化する逐次的割り当て戦略を設計可能か？
• RQ2 既存の多腕バンディットアルゴリズムは、適応的モンテカルロ推定における低MSEレグレットを達成するためにどの程度活用可能か？
• RQ3 推定量が異なる、あるいは確率的な計算コストを持つ状況に対応するため、フレームワークをどのように拡張できるか？
• RQ4 実用的状況において、固定された手動チューニング構成と比較して、適応的割り当てによって得られる性能向上はどの程度か？
• RQ5 コスト認識設定において、推定量出力の分散重み付き結合は、MSE性能をさらに向上させるか？

主な発見

• 任意の適応的モンテカルロ戦略のMSEレグレットは、対応するMAB問題における方策のバンドイット・レグレットに正確に等しくなる。これにより、バンドイットのレグレット境界を直接MSEレグレットの境界に転送可能となる。
• Thompsonサンプリングやその他のバンドイットアルゴリズムは、一貫性のある方策の理論的下界に一致するO(log n)のMSEレグレットスケーリングを達成する。
• コスト認識設定では、CPU時間に基づく報酬関数を用いた提案されたバンドイット定式化により、推定量のコストが確率的かつ不均一であっても、効果的な割り当てが可能になる。
• 非一様な重み付き推定量（標本分散の逆数に比例する重み）は、特に分散が変動するAISのような状況では、非一様コスト環境下で顕著に性能を向上させる。
• 異なるデータセットサイズ（5, 10, 50）において、適応的割り当ては、手動で徹底的にチューニングされたあらゆる固定静的戦略を上回り、データ変化に対してもロバストであることを示した。
• 推定量の分散やコストに関する事前知識が不要な状況でも、最適な推定量構成の選択を自動化することで、計算時間と実験時間の両方を削減した。