[논문 리뷰] DeepMind Control Suite

Yuval Tassa, Yotam Doron외 10명|arXiv (Cornell University)|2018. 01. 02.

Reinforcement Learning in Robotics참고 문헌 7인용 수 521

한 줄 요약

이 논문은 MuJoCo를 기반으로 표준화된 인터페이스와 해석 가능한 보상을 갖춘 연속 제어 작업 모음인 DeepMind Control Suite를 소개하고, 상태 기반 및 픽셀 관찰에 걸친 벤치마킹 베이스라인(A3C, DDPG, D4PG)을 제시한다.

ABSTRACT

The DeepMind Control Suite is a set of continuous control tasks with a standardised structure and interpretable rewards, intended to serve as performance benchmarks for reinforcement learning agents. The tasks are written in Python and powered by the MuJoCo physics engine, making them easy to use and modify. We include benchmarks for several learning algorithms. The Control Suite is publicly available at https://www.github.com/deepmind/dm_control . A video summary of all tasks is available at http://youtu.be/rAai4QzcYbs .

연구 동기 및 목표

• 강화학습에서 연속 제어를 위한 표준화되고 해석 가능한 벤치마크 모음을 제공한다.
• 기존 Gym/ALE 작업 부하를 넘어 물리학의 안정성, 해결 가능성, 확장성을 보장한다.
• 에이전트와 작업 간의 벤치마킹 및 비교를 용이하게 하는 일관된 API를 제공한다.
• 특징 기반 관찰과 픽셀 기반 관찰 모두에서 기존 RL 방법의 베이스라인 성능을 시연한다.

제안 방법

• 일관된 관찰, 행동, 보상 구조를 갖춘 연속 제어 도메인 세트를 정의한다.
• 물리 시뮬레이션에 MuJoCo를 사용하고 파이썬으로 작업 수정을 쉽게 한다.
• 물리적 안정성과 비속임수 방지 설계를 확인하는 검증 관행을 확립한다.
• 환경.Base 및 suite.load를 이용한 일관된 작업 접근을 위한 강화 학습 API를 제공한다.
• 상태-특징 및 픽셀 입력 변형 모두에서 세 가지 알고리즘(A3C, DDPG, D4PG)을 벤치마크하고 표준화된 평가 프로토콜을 적용한다.
• 재현성을 위해 네트워크 아키텍처와 하이퍼파라미터를 포함한 데이터 수집 및 학습 구성을 기술한다.

실험 결과

연구 질문

• RQ1 표준화된 연속 제어 작업 모음이 RL 에이전트의 공정한 벤치마킹을 어떻게 촉진할 수 있는가?
• RQ2 Control Suite에서 상태 기반 및 픽셀 기반 관찰에 대한 A3C, DDPG, D4PG의 기본 성능은 어떠한가?
• RQ3 보상, 시간 단계, 그리고 할인 선택이 연속 제어 벤치마크의 학습 곡선과 해석 가능성에 어떤 영향을 미치는가?
• RQ4 스위트의 설계가 물리적 불안정성을 악용하는 것을 방지하고 학습 에이전트가 문제를 해결할 수 있도록 보장할 수 있는가?

주요 결과

• D4PG가 메트릭 및 작업 전반에서 가장 우수한 에이전트이며, 1e7 환경 단계 이전에는 DDPG가 데이터 효율적이다(집계 결과 기준).
• 스위트는 상태에서 도출된 특징과 원시 픽셀 입력 모두에 대한 기본 결과를 제공하고, A3C, DDPG, D4PG 간의 비교를 포함한다.
• 학습 곡선과 집계 지표는 해석 가능하고 작업과 시드 간에 표준화되도록 설계되었다.
• 벤치마킹 결과에 여러 시드를 포함하고 작업 수준 변동성을 위해 중간값과 5번째~95번째 분위수를 보고한다.
• 저자들은 다중 에이전트 테스트와 해결 가능성에 이르기까지 반복을 통해 작업의 안정성과 비속임수 설계를 강조한다.