[논문 리뷰] Learning Environment Models with Continuous Stochastic Dynamics

Martin Tappler, Edi Muškardin외 2명|arXiv (Cornell University)|2023. 06. 29.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 차원 축소, 군집화, 수동/수동 학습을 조합하여 연속적인 확률적 환경의 단순하고 해석 가능한 마르코프 결정 과정(MDP) 모델을 구성하는 새로운 자동우착 학습 프레임워크인 CASTLE을 제안한다. 이 방법은 성능이 딥 강화 학습 에이전트와 동일하거나 이를 초월하는 정책 합성을 가능하게 하며, 공식적 모델 검증을 통해 투명성과 분석 가능성도 제공한다.

ABSTRACT

Solving control tasks in complex environments automatically through learning offers great potential. While contemporary techniques from deep reinforcement learning (DRL) provide effective solutions, their decision-making is not transparent. We aim to provide insights into the decisions faced by the agent by learning an automaton model of environmental behavior under the control of an agent. However, for most control problems, automata learning is not scalable enough to learn a useful model. In this work, we raise the capabilities of automata learning such that it is possible to learn models for environments that have complex and continuous dynamics. The core of the scalability of our method lies in the computation of an abstract state-space representation, by applying dimensionality reduction and clustering on the observed environmental state space. The stochastic transitions are learned via passive automata learning from observed interactions of the agent and the environment. In an iterative model-based RL process, we sample additional trajectories to learn an accurate environment model in the form of a discrete-state Markov decision process (MDP). We apply our automata learning framework on popular RL benchmarking environments in the OpenAI Gym, including LunarLander, CartPole, Mountain Car, and Acrobot. Our results show that the learned models are so precise that they enable the computation of policies solving the respective control tasks. Yet the models are more concise and more general than neural-network-based policies and by using MDPs we benefit from a wealth of tools available for analyzing them. When solving the task of LunarLander, the learned model even achieved similar or higher rewards than deep RL policies learned with stable-baselines3.

연구 동기 및 목표

• 연속적인 동역학을 가진 복잡한 제어 환경에 대해 해석 가능하고 단순하며 분석 가능한 모델의 부족을 해결하기 위해.
• 고차원, 연속적인 상태 공간에서 기존 자동우착 학습의 확장성 한계를 극복하기 위해.
• 에이전트 제어 하에서 환경 행동을 정확하게 표현하는 유한 상태 MDP를 자동으로 학습하기 위해.
• 학습된 MDP를 통해 에이전트 의사결정의 형식적 검증 및 분석을 지원하기 위해.
• 투명하고 설명 가능한 정책을 제공하는 샘플 효율적인 딥 강화 학습의 확장성 있는 대안을 제공하기 위해.

제안 방법

• 고차원 환경 관측치를 압축하기 위해 차원 축소(예: 오토인코더)를 적용하여 저차원 표현으로 변환한다.
• 압축된 관측치에 대해 군집화를 수행하여 유사한 상태를 그룹화하고 추상 상태 동치 클래스를 형성한다.
• 군집 시퀀스에 대해 수동 자동우착 학습을 수행하여 확률적 전이를 갖는 초기 MDP 구조를 추론한다.
• 확률적 모델 검증을 통해 활성 샘플링을 수행하여 모델 정밀도를 극대화하는 트레이젝터리를 식별하고 생성한다.
• 새로 샘플된 트레이젝터리로 재학습하여 정확도와 커버리지가 향상되는 방식으로 MDP 모델을 반복적으로 개선한다.
• 학습된 MDP를 기반으로 정책 합성을 수행하여 활성 샘플링을 고성능 상태-행동 시퀀스에 집중시킨다.

실험 결과

연구 질문

• RQ1 연속적이고 고차원적이며 확률적인 동역학을 가진 환경에 대해 자동우착 학습을 확장할 수 있는가?
• RQ2 차원 축소와 군집화의 조합이 연속 공간에서 MDP 학습을 위한 효과적인 상태 추상화를 가능하게 하는가?
• RQ3 확률적 모델 검증에 의해 안내되는 활성 샘플링이 학습된 MDP의 정확도와 유용성을 크게 향상시킬 수 있는가?
• RQ4 학습된 MDP에서 유도된 정책이 딥 강화 학습 에이전트와 동일한 정도로 벤치마크 제어 과제를 해결할 수 있는가?
• RQ5 학습된 MDP가 에이전트 행동의 형식적 분석 및 설명에 어느 정도 기여할 수 있는가?

주요 결과

• CASTLE는 OpenAI Gym 환경 네 곳(LunarLander, CartPole, Mountain Car, Acrobot)에 대해 유한 상태 MDP 모델을 성공적으로 학습했다.
• 학습된 MDP는 모든 제어 과제를 해결할 수 있을 정도로 충분히 정확하여 기능적 정밀도를 입증했다.
• LunarLander 환경에서, 보상 최적화를 하지 않았음에도 불구하고 stable-baselines3 DRL 에이전트와 유사하거나 높은 누적 보상을 달성했다.
• Mountain Car 환경에서 CASTLE의 총 샘플 복잡도(약 490k 시간 단위)는 비교를 위해 사용된 A2C 에이전트(100만 시간 단위)보다 낮았다.
• 초기화 조건에 민감도가 낮아 실험 전반에서 안정적인 성능을 보였으며, epsilon(0.005)와 민감도 크기(4)와 같은 하이퍼파rameter에 대해 거의 영향을 받지 않았다.
• 샘플 효율적이고 확장 가능한 방법으로, 평균 실험 실행 시간은 60~90분 사이였지만, 아직 GPU 가속 기능이 통합되지 않았다.