[論文レビュー] A Bayesian Approach to Robust Reinforcement Learning

Esther Derman, Daniel J. Mankowitz+2 more|arXiv (Cornell University)|May 20, 2019

Reinforcement Learning in Robotics参考文献 31被引用数 20

ひとこと要約

本論文は、不確実性ロバストベルヌーイ方程式（URBE）を用いたベイジアンアプローチを提案し、オンライン学習中に不確実性集合を動的に適応させることで、保守的すぎる傾向を軽減しつつもロバスト性を維持する。DQN-URBEアルゴリズムにより、高次元環境へのスケーリングが可能となり、変化するダイナミクスへの適応が速く、固定不確実性を用いたロバスト手法と比較して性能のトレードオフが向上している。

ABSTRACT

Robust Markov Decision Processes (RMDPs) intend to ensure robustness with respect to changing or adversarial system behavior. In this framework, transitions are modeled as arbitrary elements of a known and properly structured uncertainty set and a robust optimal policy can be derived under the worst-case scenario. In this study, we address the issue of learning in RMDPs using a Bayesian approach. We introduce the Uncertainty Robust Bellman Equation (URBE) which encourages safe exploration for adapting the uncertainty set to new observations while preserving robustness. We propose a URBE-based algorithm, DQN-URBE, that scales this method to higher dimensional domains. Our experiments show that the derived URBE-based strategy leads to a better trade-off between less conservative solutions and robustness in the presence of model misspecification. In addition, we show that the DQN-URBE algorithm can adapt significantly faster to changing dynamics online compared to existing robust techniques with fixed uncertainty sets.

研究の動機と目的

• 従来のロバストMDP（RMDP）における長方形の不確実性集合と固定された最悪ケース仮定に起因する過剰な保守的傾向を是正すること。
• 変化するダイナミクスに適応可能な、オンラインでデータ駆動の不確実性集合を学習すること。
• 高次元ドメインにおいてロバスト性と性能のバランスを取れるスケーラブルなベイジアンアルゴリズムの開発。
• 悪意のある変化を検出できる分散ベースの探索ボーナスを組み込むことで、悲観的計画への依存を低減すること。

提案手法

• 不確実性ベルヌーイ方程式（UBE）のベイジアン拡張として、後方分散をモデル化して探索を導く不確実性ロバストベルヌーイ方程式（URBE）を導入。
• 動的計画法を用いてURBEを推定し、新たな観測に基づく不確実性集合の反復的更新を可能にする。
• Q値の後方分布から導出される分散ボーナスを用い、悪意のある行動の変化を検出し、ロバスト性レベルを調整。
• DQN-URBEを提案。これはURBEを統合したディープQネットワークの変種であり、連続的かつ高次元の環境におけるスケーラブルでオンライン学習可能な手法を実現。
• ベイジアン推論を用いてリアルタイムで不確実性集合を更新することで、固定またはオフラインの不確実性構築を回避し、ロバスト性を維持。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンフレームワークは、モデル不適合下でもロバスト性を保ちつつ、ロバストMDPの保守的すぎる傾向を軽減できるか？
• RQ2 強化学習の過程で、データ駆動的に不確実性集合をオンラインで学習・適応できるか？
• RQ3 後方分散を組み込むことで、ロバストRLにおける探索の質が向上し、過剰な悲観的傾向が軽減される程度はどの程度か？
• RQ4 URBEに基づくディープRLアルゴリズムは、固定不確実性を用いたロバスト手法と比較して、変化するダイナミクスに迅速に適応できるか？

主な発見

• DQN-URBEは、平均報酬と収束速度の両面で、標準的なロバストDQNよりも優れたロバスト性と性能のトレードオフを達成している。
• ダイナミクスの分布シフトからの回復が著しく速く、訓練曲線における縦線が、摂動後の迅速な回復を示している。
• URBEベースのポリシーは当初は収束が遅いが、最大報酬がロバストDQNよりも高く、変化後も回復できないロバストDQNとは対照的である。
• URBEの分散ボーナスにより安全な探索と適応的ロバスト性が実現され、従来のRMDP計画法と比較して過剰な保守的傾向が軽減された。
• URBEは高次元ドメイン、特にCartPoleとMars Roverの環境においても効果的にスケーリングされ、実用的応用の可能性を示している。