[논문 리뷰] SoftGym: Benchmarking Deep Reinforcement Learning for Deformable Object Manipulation

Xingyu Lin, Yufei Wang외 2명|arXiv (Cornell University)|2020. 11. 14.

Reinforcement Learning in Robotics참고 문헌 53인용 수 68

한 줄 요약

본 논문은 SoftGym을 제시한다. 이 벤치마크는 딥 RL을 이용한 변형가능 물체 조작을 다루며, 환경, 관찰/동작 공간, 작업 변 variation, 학습/평가 프로토콜, 기초 알고리즘 결과를 상세히 설명한다. 또한 여러 작업(물(water), 천(cloth), 밧줄(rope))에서 이미지 기반 및 특징 기반 관찰을 분석하고, 서로 다른 설정에서 SAC, TD3, PlaNet, RIG와 같은 방법들을 비교한다.

ABSTRACT

Manipulating deformable objects has long been a challenge in robotics due to its high dimensional state representation and complex dynamics. Recent success in deep reinforcement learning provides a promising direction for learning to manipulate deformable objects with data driven methods. However, existing reinforcement learning benchmarks only cover tasks with direct state observability and simple low-dimensional dynamics or with relatively simple image-based environments, such as those with rigid objects. In this paper, we present SoftGym, a set of open-source simulated benchmarks for manipulating deformable objects, with a standard OpenAI Gym API and a Python interface for creating new environments. Our benchmark will enable reproducible research in this important area. Further, we evaluate a variety of algorithms on these tasks and highlight challenges for reinforcement learning algorithms, including dealing with a state representation that has a high intrinsic dimensionality and is partially observable. The experiments and analysis indicate the strengths and limitations of existing methods in the context of deformable object manipulation that can help point the way forward for future methods development. Code and videos of the learned policies can be found on our project website.

연구 동기 및 목표

• 변형가능 물체 조작을 위한 모듈형이고 다양한 벤치마크를 제공하여 심층 RL 방법을 평가한다.
• 다중 작업에서 이미지 기반 및 특징 기반 설정의 관찰 및 동작 공간을 설명한다.
• 물체의 크기, 모양, 물리적 특성 변 variation를 포착하기 위한 작업 변 variation를 소개한다.
• 공정한 비교를 위한 학습/평가 파이프라인 및 기초 하이퍼파라미터를 확립한다.

제안 방법

• 두 가지 관찰 모달리티를 정의한다(이미지 128x128x3 및 작업별 특징 벡터).
• 작업별 비정규화 범위를 가진 환경에 따라 [-1,1]로 동작을 정규화한다.
• 천/밧줄 작업에 대해 선택자 기반 컨트롤러를 사용하고 PassWater/PourWater에 대해 1D 컵 모션을 사용한다.
• 환경당 1000개의 작업 변화를 사전 계산하고, 학습에는 800개, 평가에는 200개를 사용한다.
• 이미지 관찰( CNN 인코더, VAE/RIG 특수성) 및 특징 관찰(MLP)에 대한 참조 네트워크 아키텍처를 제공한다.
• 이미지/특징 설정에 대해 SAC, TD3, PlaNet, RIG의 상세 하이퍼파라미터를 제시한다.

실험 결과

연구 질문

• RQ1 이미지 기반 관찰과 특징 기반 관찰이 변형가능 물체 작업에서 DRL 성능에 어떤 영향을 미치는가?
• RQ2 작업 변 variation(크기, 모양, 물질 특성)이 학습 및 일반화에 미치는 영향은 무엇인가?
• RQ3 일관된 학습/평가 프로토콜 하에서 서로 다른 DRL 알고리즘(SAC, TD3, PlaNet, RIG)이 SoftGym 작업에서 어떻게 비교되는가?
• RQ4 변형가능 물체 조작 학습을 가장 잘 지원하는 관찰 및 네트워크 아키텍처는 무엇인가?
• RQ5 전체 상태 대 부분 관찰이 학습 효율성과 성능에 미치는 영향은 무엇인가?

주요 결과

• 이미지 기반 및 특징 기반 관찰은 작업마다 다른 학습 특성을 보이며, 각 설정에 대한 상세한 아키텍처가 제공된다.
• RGB 관찰을 사용하는 TD3는 많은 실험에서 행동 포화와 Q-함수 바이어스 문제로 학습이 저조했다.
• RIG와 PlaNet은 잠재 표현과 계획/HER 스타일 기술을 사용하여 고차원 관찰에서의 계획 문제를 다룬다.
• 전체 상태 관찰은 특징/이미지 입력에 비해 차원이 높고 중복성이 커 SAC/TD3에서 성능이 낮았다.
• 컵 크기, 밧줄 비틀기, 천 크기 등 다양한 작업 변 variation이 미리 계산되어, 환경 간 견고한 학습 및 평가를 가능하게 했다.