[논문 리뷰] Beyond Pick-and-Place: Tackling Robotic Stacking of Diverse Shapes

Alex X. Lee, Coline Devin외 19명|arXiv (Cornell University)|2021. 10. 12.

Reinforcement Learning in Robotics인용 수 16

한 줄 요약

이 논문은 로봇 스타킹을 위한 152종의 3D 프린팅된 물체로 구성된 다양한 벤치마크인 RGB-Stacking을 소개하고, 시뮬레이션에서의 실세계로의 전이와 오프라인 강화학습(Reinforcement Learning, RL) 보정을 갖춘 시각 기반 강화학습(RL) 프레임워크를 제안한다. 이 방법은 도메인 랜덤라이제이션과 상호작용 정책 분해를 통해 비입방체 형태의 물체를 실제 세계에서 견고하게 스타킹할 수 있으며, 오프라인 RL 보정 이후에 새로운 물체 조합에 대한 일반화 성능이 높은 성공률을 보여준다.

ABSTRACT

We study the problem of robotic stacking with objects of complex geometry. We propose a challenging and diverse set of such objects that was carefully designed to require strategies beyond a simple "pick-and-place" solution. Our method is a reinforcement learning (RL) approach combined with vision-based interactive policy distillation and simulation-to-reality transfer. Our learned policies can efficiently handle multiple object combinations in the real world and exhibit a large variety of stacking skills. In a large experimental study, we investigate what choices matter for learning such general vision-based agents in simulation, and what affects optimal transfer to the real robot. We then leverage data collected by such policies and improve upon them with offline RL. A video and a blog post of our work are provided as supplementary material.

연구 동기 및 목표

• 실세계에서 복잡한 비입방체 형태의 물체를 시각 기반 로봇 정책을 사용하여 스타킹하는 데 도전하는 것.
• 간단한 픽앤플레이스 작업을 넘어서는 확장 가능하고 일반화 가능한 로봇 조작용 벤치마크를 개발하는 것.
• 시뮬레이션 하이퍼파라미터와 도메인 랜덤라이제이션의 영향이 실세계 전이 성능에 미치는 영향을 조사하는 것.
• 시뮬레이션에서 실세계로의 전이를 통해 훈련된 정책에 대해 오프라인 RL의 효과성을 평가하는 것.
• 152종의 3D 프린팅된 물체, 시뮬레이션 환경, 실세계 설정 설명서를 포함한 완전히 재현 가능한 벤치마크를 공개하는 것.

제안 방법

• 도메인 랜덤라이제이션을 사용해 시뮬레이션에서 훈련된 시각 기반 RL 프레임워크를 제안하여 시뮬레이션에서 실세계로의 일반화를 향상시킨다.
• 인간의 시연를 명시적으로 필요로 하지 않고도 인식 정책 학습과 기술 습득을 분리하기 위해 상호작용 정책 분해를 활용한다.
• RGB 카메라와 프опrioception를 갖춘 4-DoF 로봇 암을 사용해 오프라인 RL 보정을 위한 실세계 데이터를 수집한다.
• 훈련 중에 이미지 증강과 도메인 랜덤라이제이션을 적용해 실세계의 시각적 변형에 대한 내구성을 향상시킨다.
• 대규모 실세계 데이터(54,000회 이상의 시도)를 활용해 시뮬레이션에서 실세계로의 전이를 통해 얻은 정책을 개선하는 오프라인 RL 에이전트를 훈련시킨다.
• 152종의 정렬된 프로시저적으로 생성된 3D 프린팅 물체, 시뮬레이션 환경, 실세계 하드웨어 지침을 포함한 완전한 벤치마크를 공개한다.

실험 결과

연구 질문

• RQ1 단일 시각 기반 정책이 실세계에서 다양한 비입방체 형태의 물체 조합에 대해 일반화될 수 있는가?
• RQ2 시뮬레이션 하이퍼파라미터와 도메인 랜덤라이제이션은 실세계 성능에 어떤 영향을 미치는가?
• RQ3 시뮬레이션에서 실세계로의 전이를 통해 수집된 데이터와 스크립트된 에이전트에서 수집된 데이터에 대해 오프라인 RL 보정이 성능 향상에 기여하는가?
• RQ4 상호작용 정책 분해는 인간의 시범 없이도 인식 인지 정책 학습을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 물체 기하학적 설계는 스타킹의 어려움과 복잡한 전략의 발생에 어떤 영향을 미치는가?

주요 결과

• 도메인 랜덤라이제이션과 상호작용 분해를 통해 시뮬레이션에서 훈련된 단일 시각 기반 정책이 실제 세계에서 다섯 가지 다른 물체 조합에 대해 높은 성공률을 기록하며, 단순한 픽앤플레이스를 넘어서는 일반화 능력을 입증했다.
• 오프라인 RL 보정은 시뮬레이션에서 실세계로의 전이를 통해 수집된 데이터에 적용했을 때 성능 향상이著명했지만, 스크립트된 에이전트에서 수집된 데이터에 적용했을 땐 성능이 열 劣화되었다.
• 종합적인 강화학습 훈련을 통해 물체를 위쪽 부품을 이용해 뒤집는 등의 다양한 스타킹 전략을 성공적으로 학습했으며, 접촉 역학에 대한 잠재적 추론 능력이 존재함을 시사했다.
• 벤치마크인 RGB-Stacking는 10,000가지 이상의 가능한 스타킹 조합을 지원하며, 훈련용 물체보다 정량적으로 더 어려운 테스트용 물체의 포함된 검증 세트를 포함한다.
• 54,000회 이상의 실세계 시도를 통한 광범위한 아블레이션 분석 결과, 도메인 랜덤라이제이션과 이미지 증강이 시뮬레이션에서 실세계로의 전이 성공에 핵심적인 역할을 했다.
• 공개된 벤치마크는 완전한 시뮬레이션 환경, 3D 프린팅된 물체 설계도, 실세계 하드웨어 설명서를 포함하여 완전한 재현 가능성을 보장한다.