[논문 리뷰] DoorGym: A Scalable Door Opening Environment And Baseline Agent

Yusuke Urakami, Alec Hodgkinson외 4명|arXiv (Cornell University)|2019. 08. 05.

Reinforcement Learning in Robotics참고 문헌 28인용 수 21

한 줄 요약

이 논문은 강화학습을 사용하여 내구성 있는 도어오픈 정책을 훈련하기 위한 오픈소스이자 도메인 랜덤라이제이션된 시뮬레이션 환경인 DoorGym을 소개한다. 도어와 로봇 에이전트의 시각적 및 물리적 성질을 랜덤라이제이션함으로써, 정책이 다양한 도어 유형과 실제 환경 조건에서 일반화할 수 있도록 하였다. 이 프레임워크는 시뮬레이션에서 최대 95%의 성공률을 달성하였고, PPO 및 SAC 베이스라인을 사용하여 실제 환경으로의 제로샷 전이를 성공적으로 수행하였다.

ABSTRACT

In order to practically implement the door opening task, a policy ought to be robust to a wide distribution of door types and environment settings. Reinforcement Learning (RL) with Domain Randomization (DR) is a promising technique to enforce policy generalization, however, there are only a few accessible training environments that are inherently designed to train agents in domain randomized environments. We introduce DoorGym, an open-source door opening simulation framework designed to utilize domain randomization to train a stable policy. We intend for our environment to lie at the intersection of domain transfer, practical tasks, and realism. We also provide baseline Proximal Policy Optimization and Soft Actor-Critic implementations, which achieves success rates between 0% up to 95% for opening various types of doors in this environment. Moreover, the real-world transfer experiment shows the trained policy is able to work in the real world. Environment kit available here: https://github.com/PSVL/DoorGym/

연구 동기 및 목표

• 다양한 도어 유형과 환경 조건에서 작동하는 일반화 가능한 도어오픈 정책를 훈련하는 데 도전하는 것.
• 실제 환경 적용과 시뮬레이션 간의 현실 격차를 실용적이고 현실적인 로봇 조작 작업에서 도메인 랜덤라이제이션을 통해 해소하는 것.
• 다양한 로봇 구성과 도어 손잡이 유형을 지원하는 확장 가능한 오픈소스 시뮬레이션 프레임워크를 제공하는 것.
• 재현 가능한 로봇 조작 연구를 위한 벤치마크 환경과 기준 정책을 수립하는 것.
• 시뮬레이션에서 실제 도어오픈 작업으로의 제로샷 정책 전이를 입증하는 것.

제안 방법

• 저자들은 물리학에 MuJoCo, 렌더링에 Unity를 사용하여 Gym 호환 시뮬레이션 환경인 DoorGym을 개발하였다.
• 도어 손잡이 유형(원형, 레버, 당기기), 시각적 텍스처, 조명, 마찰 및 질량과 같은 물리적 성질을 포함한 핵심 파라미터에 도메인 랜덤라이제이션을 적용하였다.
• 환경은 훅 그립퍼, 플로팅 그립퍼, 다양한 자유도를 가진 이동형 조작 장치를 포함한 여러 로봇 구성 방식을 지원한다.
• 일반화를 위해 초모수를 조정한 Proximal Policy Optimization (PPO) 및 Soft Actor-Critic (SAC)을 기준 강화학습 알고리즘으로 구현하였다.
• 고품질의 시각 관측치와 현실적인 렌더링에 접근하기 위해 커스터마이즈된 MuJoCo-Unity 플러그인을 사용하며, 파이썬 API를 통해 접근 가능하다.
• 훈련 파이프라인은 도어 및 에이전트 구성의 무작위 샘플링을 포함하며, 도어 오픈에 대한 진전을 기반으로 보상 형식을 조정한다.

실험 결과

연구 질문

• RQ1 도메인 랜덤라이제이션된 시뮬레이션에서 훈련된 단일 강화학습 정책이 다양한 도어 유형과 환경 변동에 대해 일반화할 수 있는가?
• RQ2 도메인 랜덤라이제이션은 시뮬레이션에서 실제 환경으로의 제로샷 전이 성능을 어느 정도 향상시키는가?
• RQ3 다른 로봇 구성(예: 고정형 대비 이동형 암)은 정책의 일반화 능력과 성공률에 어떤 영향을 미치는가?
• RQ4 시각 관측 품질(예: RGB 대 노이즈가 있는 시각)이 도메인 시프트 상황에서 정책 성능에 어떤 영향을 미치는가?
• RQ5 이 복잡한 고차원 제어 과제에서 PPO와 SAC는 샘플 효율성과 내구성 측면에서 어떻게 비교되는가?

주요 결과

• PPO 기준 정책은 도메인 랜덤라이제이션 하에서 다양한 도어 유형을 열 때 최대 95%의 성공률를 기록하였으며, 훅 또는 그립퍼 암을 사용할 경우 당기기 유형 손잡이에서 가장 높은 성능를 보였다.
• SAC 기준 정책는 뛰어난 일반화 능력을 보였으며, 훅 로봇을 사용할 경우 당기기 손잡이에서 62%의 성공률, 그립퍼를 사용할 경우 58%의 성공률를 기록했으며, 비디오 노이즈와 랜덤라이제이션 조건에서도 성능를 유지했다.
• 실제 환경 전이 실험을 통해 DoorGym에서 훈련된 정책가 추가 보정 없이 실제 도어를 성공적으로 열었으며, 제로샷 배포 능력을 입증하였다.
• 시각 기반 정책는 지상 상태 기반 정책보다 상당히 열등한 성능를 보였으며, 특히 레버형 및 원형 손잡이에서 시각 일반화의 과제가 뚜렷하게 드러났다.
• 시각 관측만을 사용할 경우 레버형 및 원형 손잡이에서 성공률가 크게 감소하여, 시각 인식이 여전히 핵심적 한계임을 시사했다.
• 이동형 로봇 구성은 고정 암보다 푸시 도어에서 더 높은 성공률(최대 100%)을 기록하여, 이동성의 증가가 작업의 내구성 향상에 기여함을 시사했다.