[논문 리뷰] Flatland: a Lightweight First-Person 2-D Environment for Reinforcement Learning

Hugo Caselles-Dupré, Louis Annabi외 3명|arXiv (Cornell University)|2018. 09. 03.

Reinforcement Learning in Robotics참고 문헌 13인용 수 10

한 줄 요약

Flatland는 단순한 격자 기반 환경과 복잡한 3D 시뮬레이터 사이의 격차를 메우기 위해 설계된 경량 2D 1인칭 강화학습 환경이다. 부분 관측 가능하고 물리 기반의 탐색 작업을 제공하며, 1D 시각 관측을 통해 빠른 프로토타이핑과 광범위한 실험을 가능하게 하며, VizDoom에서 유사한 작업과 비교해 수렴 속도가 100배 빠르다.

ABSTRACT

Flatland is a simple, lightweight environment for fast prototyping and testing of reinforcement learning agents. It is of lower complexity compared to similar 3D platforms (e.g. DeepMind Lab or VizDoom), but emulates physical properties of the real world, such as continuity, multi-modal partially-observable states with first-person view and coherent physics. We propose to use it as an intermediary benchmark for problems related to Lifelong Learning. Flatland is highly customizable and offers a wide range of task difficulty to extensively evaluate the properties of artificial agents. We experiment with three reinforcement learning baseline agents and show that they can rapidly solve a navigation task in Flatland. A video of an agent acting in Flatland is available here: https://youtu.be/I5y6Y2ZypdA.

연구 동기 및 목표

• 장수 학습 연구를 위한 단순한 격자 기반 환경과 복잡한 3D 강화학습 환경 사이의 중간 기준 평가 기준의 부족을 해결하기 위해.
• 부분 관측 가능성과 1인칭 시야와 같은 실제 세계의 핵심 특징을 유지하면서도, 빠르고 사용자 정의 가능하며 계산 비용이 낮은 환경을 제공하기 위해.
• 훈련 시간과 계산 비용을 줄여 강화학습 연구에서 빠른 실험과 통계적 유의성을 달성하기 위해.
• 최소한의 감각 입력으로 점점 더 복잡한 탐색 작업에 대해 강화학습 에이전트를 평가할 수 있는 확장 가능한 플랫폼을 제공하기 위해.
• 미래의 다중 에이전트 상호작용, 물체 조작, 다중 모odal 감지 기능을 위한 확장 지원을 위해.

제안 방법

• Flatland는 연속적인 물리 기반과 이산 동작을 갖춘 2D, 1인칭, 부분 관측 가능한 환경이며, 실제 세계의 센서모터 역학을 시뮬레이션한다.
• 감각 차원을 줄이고 훈련 속도를 높이기 위해 2D 이미지 대신 1D 시각 관측을 사용한다.
• 기존 강화학습 프레임워크와의 원활한 통합을 위해 OpenAI Gym API 호환성을 제공한다.
• 장애물, 물체, 에이전트의 사용자 정의 가능한 물리적 성질을 지원하여 다양한 작업 구성 가능하다.
• 확장 가능한 아키텍처로 설계되어 있으며, 향후 다중 에이전트 상호작용, 물체 조작, 추가 센서 지원 계획이 수립되어 있다.
• 과일과 독성 물체가 있는 탐색 작업에 대해 1D 컨볼루션 네트워크를 사용한 DQN, A3C, DFP 세 가지 표준 강화학습 알고리즘을 평가하였다.

실험 결과

연구 질문

• RQ1 1D 시각 관측을 갖춘 경량 2D 1인칭 환경은 3D 시뮬레이터 대비 강화학습 에이전트의 훈련을 더 빠르고 효율적으로 이끌 수 있는가?
• RQ2 간소화된 감각 스트림이 계산 비용을 줄이면서도 실제 세계의 탐색 작업의 복잡성을 얼마나 잘 유지할 수 있는가?
• RQ3 최소한의 상태 정보를 갖춘 부분 관측 가능하고 물리 기반의 2D 환경에서 표준 강화학습 알고리즘이 빠르게 수렴할 수 있는가?
• RQ4 Flatland에서의 강화학습 에이전트 성능은 VizDoom과 같은 더 복잡한 3D 환경에서의 유사 작업과 비교해 어떻게 되는가?
• RQ5 Flatland는 장수 학습 및 향후 다중 에이전트 또는 다중 모달 강화학습 연구를 위한 벤치마크로 얼마나 잠재력을 지니는가?

주요 결과

• DQN, A3C, DFP 세 가지 기준 강화학습 알고리즘 모두 환경 탐색을 신속하게 학습하여 탐색 작업에서 인간 수준의 성능(약 300 보상)을 달성했다.
• 약 200,000 타임스텝 내에 수렴이 이루어졌으며, 이는 VizDoom에서 유사 실험과 비교해 훈련 단계 수가 100배 감소한 것이다.
• CPU에서 DQN을 훈련하는 데 1시간 미만이 소요되어 1D 컨볼루션과 감소한 감각 입력 덕분에 계산 비용이 낮음을 입증했다.
• 1D 시각 스트림은 네트워크 파라미터 수와 단계당 훈련 시간을 모두 감소시켜 더 빠른 최적화와 더 효율적인 실험을 가능하게 하였다.
• 낮은 차원의 감각 입력이 태스크의 복잡성을 유지하면서도 훈련 속도와 확장성을 크게 향상시킬 수 있음을 확인하였다.
• 30개의 독립된 시드를 활용해 빠르고 재현 가능한 실험을 지원하여 강화학습 평가의 통계적 유의성 기준을 충족시켰다.