[論文レビュー] Learning Environment Models with Continuous Stochastic Dynamics

Martin Tappler, Edi Muškardin+2 more|arXiv (Cornell University)|Jun 29, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、次元削減、クラスタリング、および受動的／能動的学習を組み合わせることで、連続的な確率的環境のコン pact で解釈可能なマークフ・決定過程（MDP）モデルを構築する新しい自動状態機械学習フレームワークであるCASTLEを提案する。この手法により、深層強化学習エージェントと同等またはそれ以上の性能を達成するポリシー合成が可能となり、形式的検証を介して透明性と解析可能性が保証される。

ABSTRACT

Solving control tasks in complex environments automatically through learning offers great potential. While contemporary techniques from deep reinforcement learning (DRL) provide effective solutions, their decision-making is not transparent. We aim to provide insights into the decisions faced by the agent by learning an automaton model of environmental behavior under the control of an agent. However, for most control problems, automata learning is not scalable enough to learn a useful model. In this work, we raise the capabilities of automata learning such that it is possible to learn models for environments that have complex and continuous dynamics. The core of the scalability of our method lies in the computation of an abstract state-space representation, by applying dimensionality reduction and clustering on the observed environmental state space. The stochastic transitions are learned via passive automata learning from observed interactions of the agent and the environment. In an iterative model-based RL process, we sample additional trajectories to learn an accurate environment model in the form of a discrete-state Markov decision process (MDP). We apply our automata learning framework on popular RL benchmarking environments in the OpenAI Gym, including LunarLander, CartPole, Mountain Car, and Acrobot. Our results show that the learned models are so precise that they enable the computation of policies solving the respective control tasks. Yet the models are more concise and more general than neural-network-based policies and by using MDPs we benefit from a wealth of tools available for analyzing them. When solving the task of LunarLander, the learned model even achieved similar or higher rewards than deep RL policies learned with stable-baselines3.

研究の動機と目的

• 連続的な力学を示す複雑な制御環境に対して、解釈可能でコンパクトかつ解析可能なモデルが不足している問題に対処すること。
• 高次元で連続的な状態空間における従来の自動状態機械学習のスケーラビリティの限界を克服すること。
• エージェントの制御下での環境行動を正確に表現する有限状態MDPの自動学習を可能にすること。
• 学習されたMDPを介してエージェントの意思決定行動の形式的検証と分析を支援すること。
• 透明性と説明可能性を備えた、深層強化学習の代替手段としてのスケーラブルでサンプル効率の良い代替手法を提供すること。

提案手法

• 高次元の環境観測を低次元表現に圧縮するために次元削減（例：オートエンコーダ）を適用する。
• 低次元化された観測にクラスタリングを適用し、類似した状態をグループ化して抽象状態同値類を形成する。
• クラスタ列に対する受動的自動状態機械学習を実行し、確率的遷移を有する初期MDP構造を推定する。
• 確率的モデル検証を介した能動的サンプリングを用いて、モデルの精緻化を最大限に高めるトレースを同定・生成する。
• 新たにサンプリングされたトレースを再訓練することで、MDPモデルを繰り返し改善し、精度とカバー範囲を向上させる。
• 学習されたMDP上のポリシー合成を用いて能動的サンプリングをガイドし、高インパクトな状態-行動列に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 連続的で高次元的かつ確率的な力学を示す環境に、自動状態機械学習をスケーリングすることは可能か？
• RQ2 次元削減とクラスタリングの組み合わせが、連続空間におけるMDP学習のための効果的な状態抽象化を可能にするか？
• RQ3 確率的モデル検証を介した能動的サンプリングが、学習されたMDPの正確性と有用性を顕著に向上させるか？
• RQ4 学習されたMDPから導出されたポリシーが、深層強化学習エージェントと同等にベンチマーク制御タスクを効果的に解けるか？
• RQ5 学習されたMDPが、エージェント行動の形式的分析と説明にどの程度寄与できるか？

主な発見

• CASTLEは、OpenAI Gymの4つの環境（LunarLander, CartPole, Mountain Car, Acrobot）に対して有限状態MDPモデルを正常に学習した。
• 学習されたMDPは十分に正確であり、すべての制御タスクを解けるポリシーの計算が可能であった。これは、機能的忠実性を示している。
• LunarLander環境において、報酬最適化を行わなかったにもかかわらず、stable-baselines3のDRLエージェントと同等またはそれ以上の累積報酬を達成した。
• Mountain CarにおけるCASTLEの総サンプル複雑度（約49万タイムステップ）は、比較用に使用されたA2Cエージェント（100万タイムステップ）よりも低かった。
• ハイパーパramータ（ε = 0.005、信念サイズ = 4）の変更に対して、実験全体で最小限の感度を示し、ロバストな性能を発揮した。
• 本手法はサンプル効率が高く、スケーラブルであり、平均して60〜90分の実行時間であったが、GPUアクセcelerationはまだ実装されていない。