[論文レビュー] Learning and Policy Search in Stochastic Dynamical Systems with Bayesian Neural Networks

Stefan Depeweg, José Miguel Hernández-Lobato+2 more|arXiv (Cornell University)|May 23, 2016

Energy Load and Power Forecasting被引用数 33

ひとこと要約

この論文は、確率的入力ノイズを用いたベイジアンニューラルネットワーク（BNNs）を用いて、動的システム内の複雑な確率的ダイナミクスをモデル化する、モデルベース強化学習フレームワークを提案する。α-発散の最小化（α=0.5）によりBNNを訓練することで、マルチモーダルで不均一分散の遷移パターンを捉え、ランダムなロールアウトと確率的最適化を用いた有効なポリシー探索が可能となり、20年前のベンチマークおよび実世界のガスタービン制御で最先端の性能を達成した。

ABSTRACT

We present an algorithm for model-based reinforcement learning that combines Bayesian neural networks (BNNs) with random roll-outs and stochastic optimization for policy learning. The BNNs are trained by minimizing $\\alpha$-divergences, allowing us to capture complicated statistical patterns in the transition dynamics, e.g. multi-modality and heteroskedasticity, which are usually missed by other common modeling approaches. We illustrate the performance of our method by solving a challenging benchmark where model-based approaches usually fail and by obtaining promising results in a real-world scenario for controlling a gas turbine.

研究の動機と目的

• マルチモーダル性や不均一分散性といった複雑な確率的ダイナミクスを捉えることができない標準的なモデルベース強化学習の限界を克服すること。
• 探索が制限されるオフポリシーのバッチ設定においても、工業的応用で一般的な状況においても、頑健なポリシー学習を可能にすること。
• 長年の未解決問題であるWet-Chickenベンチマーク問題で、先行するモデルベース手法が失敗していたのを克服すること。
• 確率的入力を備えたベイジアンニューラルネットワークを用いて、スケーラブルで表現力のある確率的遷移のモデル化フレームワークを開発すること。
• 実世界の産業制御タスク（ガスタービンの運転を含む）における本手法の有効性を実証すること。

提案手法

• 環境の観測されない摂動を捉えるために、追加の確率的入力ノイズ変数 $ z $ を備えたベイジアンニューラルネットワーク（BNNs）を用いて、確率的ダイナミクスをモデル化する。
• α = 0.5 における α-発散の最小化により BNN を訓練することで、変分ベイズよりもより正確な事後分布近似が得られる。
• 訓練済みの BNN を用いて、異なる行動における状態軌道のランダムなロールアウトを実行し、不確実性下でのシステム挙動をシミュレートする。
• ロールアウト全体の期待累積報酬を最大化することで、パラメータ化されたポリシーを学習するため、確率的最適化を適用する。
• BNN からの予測不確実性を活用して、特に不確実性が高く、マルチモーダルな領域でのポリシー最適化をガイドする。
• 自己回帰的ダイナミクスにおける学習安定化のため、ポリシー評価の前にランダム探索によるウォームアップ段階を導入する。

実験結果

リサーチクエスチョン

• RQ1 確率的入力を備えたベイジアンニューラルネットワークは、決定論的モデルやガウス過程と比較して、マルチモーダル性や不均一分散性といった複雑な確率的ダイナミクスをより効果的にモデル化できるか？
• RQ2 α = 0.5 における α-発散最小化は、確率的システムにおけるポリシー学習において、変分ベイズよりも優れた事後分布近似をもたらすか？
• RQ3 提案手法は、長年の未解決問題であるWet-Chickenベンチマーク問題を効果的に解けるか？（過去にモデルベース手法が失敗していた。）
• RQ4 ランダムなロールアウトと確率的最適化に基づくポリシー学習アルゴリズムは、ガスタービン制御のような実世界の産業制御シナリオでどの程度有効か？
• RQ5 BNN からの予測不確実性は、オフポリシーのバッチ学習において、ポリシーのロバスト性とサンプル効率をどの程度向上させるか？

主な発見

• Wet-Chickenベンチマークにおいて、確率的入力を備えたBNNとα=0.5の発散最小化は、ガウス過程や標準的なMLPと比較して、複雑でマルチモーダルな遷移ダイナミクスのモデル化において優れた性能を示した。
• 本手法は、20年前に未解決のままだったWet-Chickenベンチマーク問題を成功裏に解決した。これは、長時間スケールでの不確実性伝播が原因で、従来のモデルベース手法が失敗していたためである。
• BNN は α = 0.5 および α = 1.0 の両方で、ベンチマークにおいて最高のテスト対数尤度と最小の誤差を達成したのに対し、ガウス過程やMLPは劣悪な性能を示した。
• BNN は、より狭い信頼区間を持つ予測分布を生成し、MLP が完全にモードを逃すのとは対照的に、二峰性の軌道分布を捉えることができた。
• 実世界のガスタービン制御において、本手法は有望な結果を達成し、探索が制限される産業現場への適用可能性を示した。
• ランダムなロールアウトと確率的最適化を用いたポリシー最適化により、高い平均報酬が得られ、α = 1.0 および α = 0.5 のBNNが最も優れた性能を示した。