[논문 리뷰] Multi-Goal Reinforcement Learning: Challenging Robotics Environments and Request for Research

Matthias Plappert, Marcin Andrychowicz외 10명|arXiv (Cornell University)|2018. 02. 26.

Reinforcement Learning in Robotics참고 문헌 17인용 수 196

한 줄 요약

본 논문은 다목표 RL 프레임워크 하에서 희소 보상을 갖는 도전적인 연속 제어 로봇 작업 제품군을 소개하고, 특히 HER 기반 방법을 포함한 RL 알고리즘을 개선하기 위한 구체적 연구 아이디어를 제시한다.

ABSTRACT

The purpose of this technical report is two-fold. First of all, it introduces a suite of challenging continuous control tasks (integrated with OpenAI Gym) based on currently existing robotics hardware. The tasks include pushing, sliding and pick & place with a Fetch robotic arm as well as in-hand object manipulation with a Shadow Dexterous Hand. All tasks have sparse binary rewards and follow a Multi-Goal Reinforcement Learning (RL) framework in which an agent is told what to do using an additional input. The second part of the paper presents a set of concrete research ideas for improving RL algorithms, most of which are related to Multi-Goal RL and Hindsight Experience Replay.

연구 동기 및 목표

• Fetch 및 Shadow Dexterous Hand 하드웨어를 바탕으로 OpenAI Gym과 통합된 도전적인 연속 제어 태스크 세트를 소개한다.
• 목표가 추가 입력으로 제공되고 보상이 희소하고 이진적인 다목표 RL 프레임워크를 채택한다.
• 새로운 환경에서 기본 RL 알고리즘(HER를 포함한 DDPG와 HER가 없는 DDPG)을 평가하여 성능을 벤치마크한다.
• 다목표 RL 및 시야 경험 재생(HER)을 발전시키기 위한 구체적인 연구 방향을 제안한다.

제안 방법

• 희소 이진 보상과 다목표 입력을 갖는 Fetch 및 Shadow Hand 환경의 제품군을 정의하고 공개한다.
• 관찰, desired_goal, achieved_goal 필드를 특징으로 하는 GoalEnv 기반 인터페이스로 OpenAI Gym을 확장한다.
• 경험 재생을 보강하기 위해 HER을 사용하고 희소 및 밀집 보상 설정 모두에서 평가한다.
• 모든 환경과 변형에서 HER 포함 여부에 따라 DDPG를 벤치마크하고 중간 테스트 성공률과 사분위수를 보고한다.
• 재현성을 위해 하이퍼파라미터 상세 정보와 OpenAI Baselines 내의 참조 구현을 제공한다.
• research_questions_header
• research_questions_anyway
• Not used

실험 결과

연구 질문

• RQ1 샘플 효율성을 향상시키기 위해 hindsight 경험 재생을 위한 목표를 자동으로 생성하는 방법은 무엇인가?
• RQ2 매우 확률적 환경에서 HER를 편향 없이 만들 수 있을까, 그리고 중요 샘플링이 어떻게 도움이 될까?
• RQ3 학습 속도와 안정성을 향상시키기 위해 히에라르키컬하거나 다단계 접근법으로 HER를 확장하는 효과적인 방법은 무엇인가?
• RQ4 HER를 온폴리시 RL 알고리즘(PPO 등)과 통합하고 최근의 RL 진전(예: 우선 재생, 분포적 RL)과 결합하는 방법은 무엇인가?
• RQ5 연속 제어 작업에서 행동 빈도가 증가할 때 정보 전파와 샘플 효율성을 향상시키는 전략은 무엇인가?

주요 결과

• HER를 갖춘 DDPG는 희소 보상에서 특히 Fetch 및 Hand 환경의 대다수 구성에서 모든 구성을 상당히 능가한다.
• DDPG+HER은 희소 보상에서 종종 잘 학습하는 반면, 일반 DDPG는 HER 없이 어려움을 겪는다.
• FetchReach은 모든 구성에 대해 해결하기 쉽고 새로운 방법의 기본적인 타당성 확인으로 작용한다.
• HandManipulatePen과 같은 손 관련 작업은 여전히 특히 도전적이며, HER가 모든 변형을 완전히 해결하지 못한다.
• 밀집 보상은 HER를 사용할 때 항상 더 나은 성능을 보이지 않으며, 희소 보상은 더 간단한 비평가 학습과 더 나은 정책 전략을 촉진할 수 있다.
• 본 논문은 재현성과 OpenAI Baselines의 기존 기준선과의 비교를 가능하게 하는 전체 벤치마크와 하이퍼파라미터 설정을 제공한다.
• 환경과 다목표 인터페이스는 GoalEnv 호환 구조와 사전 기반 관찰 공간으로 OpenAI Gym을 확장하며, 유연한 목표 대체를 위한 compute_reward 함수를 포함한다.