[論文レビュー] Bayesian Optimal Control of Smoothly Parameterized Systems: The Lazy Posterior Sampling Algorithm

Yasin Abbasi-Yadkori, Csaba Szepesvári|arXiv (Cornell University)|Jun 16, 2014

Advanced Bandit Algorithms Research参考文献 1被引用数 6

ひとこと要約

本稿では、連続的かつ滑らかにパラメータ化されたマルコフ決定過程（MDP）におけるベイジアン最適制御のための、ラグドゥ・ポストリアル・サンプリング（LPS）アルゴリズムを提案する。パラメータの不確実性が顕著に減少するまでポリシーの更新を延期することで、LPSは $acksim{O}(ackslash ext{sqrt}ackslash{T} + ackslash ext{Sigma}ackslash{T})$ の近似的最適なレグレットを達成し、無限時間、継続的設定における計算効率と性能のバランスを図る。

ABSTRACT

We study Bayesian optimal control of a general class of smoothly parameterized Markov decision problems. Since computing the optimal control is computationally expensive, we design an algorithm that trades off performance for computational efficiency. The algorithm is a lazy posterior sampling method that maintains a distribution over the unknown parameter. The algorithm changes its policy only when the variance of the distribution is reduced sufficiently. Importantly, we analyze the algorithm and show the precise nature of the performance vs. computation tradeoff. Finally, we show the effectiveness of the method on a web server control application.

研究の動機と目的

• 連続的かつ滑らかにパラメータ化されたMDP、無限の状態空間および行動空間を有する状況における、ベイジアン最適制御の計算的に非実行可能な問題を解決すること。
• 不要なポリシー更新を最小限に抑えることで、高い性能を維持しつつ計算効率の高いアルゴリズムを開発すること。
• 無限時間、継続的制御問題の文脈において、レグレットと計算コストのトレードオフを理論的に特徴づけること。
• 有限MDPにとどまらない、パラメータ化された力学系におけるポストリアル・サンプリングに基づく制御の拡張。
• ノイズが多く不確実性の高い力学系を有する実世界のウェブサーバー制御アプリケーションにおいて、手法の実証的検証。

提案手法

• アルゴリズムは、未知のシステム力学の現在の事後分布からランダムなパラメータ・ベクトルをサンプリングする。
• 古典的な最適制御手法を用いて、サンプリングされたパラメータ・ベクトルに対する最適制御ポリシーを計算する。
• ポストリアル分散が十分に減少するまでポリシーの更新を延期し、不確実性の低減度合いをしきい値で測定する。
• 段階の長さを現在のパラメータ不確実性のレベルに応じて動的に調整し、高価なポリシー再計算を避ける。
• この手法は、効率的なサンプリングと最適化を可能にする、コンactかつ滑らかなシステム力学のパラメータ化に依存している。
• 理論的分析では、Osbandら（2013年）とAbbasi-Yadkori＆Szepesvári（2011年）の技術を組み合わせ、時間枠 $T$ と解の精度 $ackslash ext{Sigma}ackslash{T}$ の観点からレグレットの上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 連続的かつ滑らかにパラメータ化されたMDP、無限の状態空間および行動空間を有する状況における、ベイジアン最適制御の効率的近似法は何か？
• RQ2 不確実性の低減に基づくポリシー更新の遅延による、理論的性能と計算コストのトレードオフは何か？
• RQ3 ポストリアル・サンプリングは、非エピソード的で継続的な制御問題、特にパラメータ化された力学系に適応可能か？
• RQ4 ラグドゥ・ポストリアル・サンプリングのレグレットは、時間と解の精度にどのように依存するか？
• RQ5 ノイズレベルが変化する条件下で、OFULQのような楽観的アルゴリズムと比較して、LPSのレグレットと計算コストはどのように異なるか？

主な発見

• ラグドゥ・ポストリアル・サンプリング（LPS）アルゴリズムは、期待レグレットが $\widetilde{O}(\sqrt{T} + \Sigma_T)$ に達し、ここで $\Sigma_T$ は最適制御問題の近似解のコストを表す。
• ノイズ分散が大きい場合（$\sigma = 1.0$）には、OFULQアルゴリズムが楽観的最適化問題を解く際の計算負荷が増加するため、LPSはそのレグレットにおいて優れる。
• ノイズが小さい場合（$\sigma = 0.1$）には、LPSのレグレットはOFULQにわずかに劣るが、依然として許容範囲内であり、ノイズレベルにかかわらず安定性を示す。
• 事前分布の選択がレグレットに影響を与え、幅広い事前分布（$\lambda$）では初期の不確実性とレグレットが高くなる。ゼロ平均ガウス事前分布を用いた実験でその傾向が確認された。
• ウェブサーバー制御問題における実証的結果から、LPSは性能と計算コストのバランスを高効率に達成していることが確認され、特に不確実性が高い状況で顕著である。
• 10回の独立した試行において、LPSの性能は複数回の実行で安定しており、レグレットの標準偏差も低く、信頼性が高い。