[論文レビュー] Online Stochastic Optimization under Correlated Bandit Feedback

Mohammad Gheshlaghi Azar, Alessandro Lazaric+1 more|arXiv (Cornell University)|Feb 4, 2014

Advanced Bandit Algorithms Research参考文献 25被引用数 43

ひとこと要約

本稿では、独立同分布でない報酬（すなわち、履歴に依存する報酬）を伴うオンライン確率的最適化の文脈において、High-Confidence Tree (HCT) アルゴリズムを提案する。HCT は、非 i.i.d. 報酬に対して集中不等式を用いた適応的で楽観的な木ベース探索戦略を採用し、ステップ数および滑らかさに関する依存関係において最新の手法と同等のレグレットバウンドを達成する。一方で、滑らかさの仮定は弱く、メモリ計算量も低減されている。

ABSTRACT

In this paper we consider the problem of online stochastic optimization of a locally smooth function under bandit feedback. We introduce the high-confidence tree (HCT) algorithm, a novel any-time $\mathcal{X}$-armed bandit algorithm, and derive regret bounds matching the performance of existing state-of-the-art in terms of dependency on number of steps and smoothness factor. The main advantage of HCT is that it handles the challenging case of correlated rewards, whereas existing methods require that the reward-generating process of each arm is an identically and independent distributed (iid) random process. HCT also improves on the state-of-the-art in terms of its memory requirement as well as requiring a weaker smoothness assumption on the mean-reward function in compare to the previous anytime algorithms. Finally, we discuss how HCT can be applied to the problem of policy search in reinforcement learning and we report preliminary empirical results.

研究の動機と目的

• 強化学習や適応型システムなど、多くの実世界の応用において成立しない独立同分布（i.i.d.）報酬を仮定する従来の X-アームドバンディットアルゴリズムの限界を克服すること。
• 報酬が過去の履歴に依存する相関フィードバックを扱える、任意の時点での実行が可能なアルゴリズムを開発し、強力な理論的性能保証を維持すること。
• 特に高次元または連続的行動空間において、従来の任意の時点での実行可能アルゴリズムと比較して、メモリおよび計算量の複雑さを低減すること。
• 従来の手法が最適なアームの周辺での強い局所的滑らかさを要件としているのに対し、本手法は最大値に関してのみリプシッツ連続性を仮定する、より弱い滑らかさ仮定のもとで理論的レグレットバウンドを提供すること。
• マルコフ決定過程（MDPs）におけるポリシー探索への適用可能性を示し、未知の環境下での強化学習に対して有限標本保証を提供すること。

提案手法

• HCT はアーム空間 X 上に二分木を構築し、各ノードはアームの領域を表し、その領域における潜在的な最大報酬の上位信頼区間を維持する。
• アルゴリズムは信頼区間の閾値に基づいてノードを段階的に拡張する：ノードの推定平均報酬が十分に正確である場合にのみ拡張され、効率的な探索が保証される。
• 非 i.i.d. エピソード的確率変数に対して、弱い定常性および混合性仮定のもとで推定誤差を制限する、新しい集中不等式を用いる。
• 木は楽観的な方法で構築され、HOO に類似した高上位信頼区間を持つノードを優先的に処理するが、相関フィードバックに対応するように適合されている。
• アルゴリズムは、引き出し回数および分散推定に基づき、上位信頼区間の信頼性が高いノードの精緻化を通じて、探索と活用の動的バランスを図る。
• 空間計算量は深さ依存のノード数カウントと高確率事象を用いて制限され、O(n^{d/(d+2)}(log n)^{2/(d+2)}) のメモリ使用量を達成する。これは非線形であり、大規模問題に対して有利である。

実験結果

リサーチクエスチョン

• RQ1 任意の時点での X-アームドバンディットアルゴリズムは、報酬が i.i.d. でない相関バンディットフィードバックのもとで、非線形レグレットを達成可能か？
• RQ2 提案された HCT アルゴリズムは、相関フィードバックを処理するにもかかわらず、i.i.d. に基づく最新手法と同等のレグレットバウンドを維持できるか？
• RQ3 従来の手法が最適アームの周辺での強い局所的滑らかさを要件としているのに対し、HCT は最大報酬に関してのみリプシッツ連続性を仮定するという、より弱い滑らかさ仮定のもとで動作可能か？
• RQ4 HCT のメモリおよび実行時間の複雑さは何か？ また、スケーラビリティの観点から、既存の任意の時点での実行可能アルゴリズムと比較してどうか？
• RQ5 HCT は、特に MDP の連続的状態-行動空間におけるポリシー探索に有効に適用可能か？ 有限標本保証を伴う強化学習の文脈で実用的利点を示せるか？

主な発見

• HCT は、ステップ数 n および近似的最適性次元 d における依存関係において、相関フィードバック下でも最新の手法と同等のレグレットバウンドを達成する。
• アルゴリズムは、最大値に関してのみ平均報酬関数のリプシッツ連続性を仮定するだけでよく、従来の任意の時点での実行可能アルゴリズムが要請するより強い仮定を必要としない。
• HCT の空間計算量は O(n^{d/(d+2)}(log n)^{2/(d+2)}) であり、これは非線形で、従来の任意の時点での実行可能アルゴリズムに比べてメモリ効率が優れている。
• 実行時間の複雑さは線形対数的（linearithmic）であり、大規模およびストリーム処理データ用途に適している。
• 理論的分析には、弱い定常性および混合性条件下での非 i.i.d. エピソード的プロセスに対する新しい集中不等式が含まれる。
• 初期の実験的結果は、MDPs におけるポリシー探索において HCT が優位であることを示しており、相関フィードバックを伴う強化学習環境における実用的利点を示唆している。