[논문 리뷰] MDP environments for the OpenAI Gym

Andreas Kirsch|arXiv (Cornell University)|2017. 09. 26.

Reinforcement Learning in Robotics참고 문헌 3인용 수 3

한 줄 요약

이 논문은 도메인 특화 언어(DSL)를 사용하여 간단한 마르코프 결정 과정(MDP)을 프로그래밍적으로 지정할 수 있는 파이썬 프레임워크를 제시한다. 이는 연구자가 결정론적 및 비결정론적 MDP 환경을 쉽게 생성할 수 있도록 한다. 프레임워크는 시각화, 선형 프로그래밍을 통한 최적 값 계산, 강화학습 에이전트 테스트를 위한 OpenAI Gym과의 원활한 통합을 지원한다.

ABSTRACT

The OpenAI Gym provides researchers and enthusiasts with simple to use environments for reinforcement learning. Even the simplest environment have a level of complexity that can obfuscate the inner workings of RL approaches and make debugging difficult. This whitepaper describes a Python framework that makes it very easy to create simple Markov-Decision-Process environments programmatically by specifying state transitions and rewards of deterministic and non-deterministic MDPs in a domain-specific language in Python. It then presents results and visualizations created with this MDP framework.

연구 동기 및 목표

• 기존 OpenAI Gym 환경의 복잡성으로 인해 강화학습 에이전트 디버깅이 어려운 문제를 해결하기 위해.
• 재현 가능하고 검증 가능한 테스트를 위한 경량이며 확장 가능한 방식으로 단순 MDP를 프로그래밍적으로 정의하기 위해.
• 연구자가 시각화 및 분석적 해법을 통해 에이전트 수렴성과 MDP 성질을 검증할 수 있도록 하기 위해.
• 클린하고 읽기 쉬운 파이썬 DSL을 통해 추상적인 MDP 이론과 실질적인 RL 실험 간 격차를 메우기 위해.

제안 방법

• 파이썬에서 연산자 오버로딩을 사용해 상태 전이와 보상을 자연스럽게 표현할 수 있도록 도메인 특화 언어(DSL)를 정의하여 MDP를 지정한다.
• 각 상태-행동 쌍에 대해 다중 결과를 허용함으로써 결정론적 및 비결정론적 MDP를 모두 지원하며, 범주형 분포에 대한 선택적 가중치를 제공한다.
• DSL 외부로도 일반적인 파이썬 API를 제공하여 `spec.transition()` 및 `spec.state()`와 같은 메서드를 사용해 프로그래밍적으로 MDP를 지정할 수 있도록 한다.
• pydotplus와 GraphViz를 사용해 MDP를 networkx 그래프로 변환하여 Jupyter 노트북에서 렌더링 가능한 시각화를 구현한다.
• MDP 사양 기반의 전용 모듈을 통해 선형 프로그래밍을 사용해 최적 값 함수(Q-테이블 및 V-벡터)를 계산한다.
• MDP를 `to_env()` 메서드를 통해 OpenAI Gym 호환 환경으로 노출시켜 RGB 배열, PNG, Jupyter 디스플레이 등 다양한 형식에서 렌더링을 지원한다.

실험 결과

연구 질문

• RQ1 강화학습 연구를 위해 파이썬 내에서 인간이 읽기 쉽게, 확장 가능하고 조합 가능한 방식으로 MDP를 어떻게 지정할 수 있는가?
• RQ2 DSL 기반 접근 방식이 디버깅을 위한 최소한의 재현 가능한 MDP 환경을 간편하게 생성하는 데 효과적인가?
• RQ3 시각화 및 분석적 해법(예: 최적 값 함수)이 강화학습 에이전트의 해석 가능성과 테스트에 얼마나 기여하는가?
• RQ4 이 프레임워크는 OpenAI Gym 생태계와 얼마나 효과적으로 통합되어 종단 간 에이전트 평가를 지원하는가?
• RQ5 이 프레임워크는 균일한 분포와 가중치가 부여된 분포를 모두 지원하는 결정론적 및 비결정론적 MDP를 어떻게 다룰 수 있는가?

주요 결과

• 프레임워크는 결정론적 및 비결정론적 전이를 모두 지원하는 깔끔하고 읽기 쉬운 DSL을 통해 MDP를 성공적으로 지정할 수 있다.
• DSL은 상태-행동 조합에 걸쳐 연산자 우선순위와 분배법칙을 활용해 복잡한 결과 분포를 자연스럽게 표현할 수 있다.
• networkx와 GraphViz를 사용해 MDP를 그래프로 시각화할 수 있으며, Jupyter 노트북 렌더링 기능을 통해 디버깅 및 분석에 기여한다.
• 선형 프로그래밍을 통해 최적 값 함수(Q-테이블 및 V-벡터)를 정확하게 계산하여 에이전트 성능에 대한 분석 기준을 제공한다.
• 프레임워크는 RGB, PNG, Jupyter 디스플레이 등 다양한 형식에서 렌더링을 지원하는 완전히 호환 가능한 OpenAI Gym 환경을 생성한다.
• 4개의 환경이 OpenAI Gym 디버깅 툴킷의 최소 환경과 일치하고, 1개는 새로운 다중 라운드 비결정론적 MDP를 포함한 5개의 예제 MDP가 제공된다.