[논문 리뷰] RoboAssembly: Learning Generalizable Furniture Assembly Policy in a Novel Multi-robot Contact-rich Simulation Environment

Mingxin Yu, Lin Shao외 5명|arXiv (Cornell University)|2021. 12. 19.

Innovations in Concrete and Construction Materials인용 수 4

한 줄 요약

이 논문은 깊이 강화학습을 사용하여 일반화 가능한 가구 조립 정책을 학습하기 위한 다중 로봇, 접촉이 풍부한 시뮬레이션 환경인 RoboAssembly를 소개한다. 구조적 표현과 모델 자유형 강화학습 및 암기 학습을 결합함으로써, 객체 중심 설정에서 미리 보지 못한 의자에 대해 74.5%의 성공률을 달성한다. 이는 RRT-Connect 기준선(18.8%)을 크게 뛰어넘으며, 더 빠른 계획 수립과 더 나은 일반화 능력을 보인다.

ABSTRACT

Part assembly is a typical but challenging task in robotics, where robots assemble a set of individual parts into a complete shape. In this paper, we develop a robotic assembly simulation environment for furniture assembly. We formulate the part assembly task as a concrete reinforcement learning problem and propose a pipeline for robots to learn to assemble a diverse set of chairs. Experiments show that when testing with unseen chairs, our approach achieves a success rate of 74.5% under the object-centric setting and 50.0% under the full setting. We adopt an RRT-Connect algorithm as the baseline, which only achieves a success rate of 18.8% after a significantly longer computation time. Supplemental materials and videos are available on our project webpage.

연구 동기 및 목표

• 복잡한 가구 조립 작업을 위한 현실적이고 접촉이 풍부한 다중 로봇 시뮬레이션 환경을 개발하기 위해.
• 구조적 상태 표현을 사용하여 로봇 가구 조립을 구체적인 강화학습 문제로 공식화하기 위해.
• 다양하고 미리 보지 못한 의자 디자인을 다중 로봇 협업을 통해 조립할 수 있는 일반화 가능한 정책을 학습하기 위해.
• 전통적인 운동 계획 방법(예: RRT-Connect)과 비교해 성공률과 계산 효율성 면에서 향상시키기 위해.
• 학습 기간 동안 볼 수 없었던 새로운 의자 구성에 대해 정책의 제로샷 일반화를 입증하기 위해.

제안 방법

• 이동 플랫폼에 두 개의 Franka 암을 장착한 새로운 다중 로봇 시뮬레이션 환경을 설계하여 복잡한 접촉이 풍부한 조작을 지원하기 위해.
• 다중 로봇 간의 충돌 없고 조율된 움직임을 가능하게 하기 위해 운동 계획 모듈을 통합하기 위해.
• PartNet에서 유래한 220개의 의자를 데이터셋으로 구성하여 조작 가능한 영역과 연결 지점을 주석 처리하여 현실적인 조립 작업을 위해 준비하기 위해.
• 객체 중심 및 전체 관측 상태 표현을 사용하여 조립 작업을 계층적 강화학습 문제로 공식화하기 위해.
• 640개의 단일 작업 정책에서 유도된 데이터 증강 기법을 활용해 암기 학습과 모델 자유형 강화학습을 통해 통합 정책 네트워크를 훈련하기 위해.
• 640개의 증강된 단일 작업 정책에서 학습한 다중 작업 훈련 파이프라인을 사용해, 제로샷 방식으로 미리 보지 못한 의자 디자인에 일반화 가능한 정책을 학습하기 위해.

실험 결과

연구 질문

• RQ1 딥 강화학습 정책은 다중 로봇, 접촉이 풍부한 조립 환경에서 미리 보지 못한 가구 디자인에 일반화될 수 있는가?
• RQ2 제안된 강화학습 기반 정책은 전통적인 운동 계획 방법(예: RRT-Connect)과 비교해 성공률 및 계획 효율성 면에서 어떻게 성과를 내는가?
• RQ3 객체 중심 상태 표현은 전체 관측 설정과 비교해 정책의 일반화 능력을 얼마나 향상시키는가?
• RQ4 암기 학습과 모델 자유형 강화학습을 결합하면 단일 작업에서 다중 작업 가구 조립으로 기술을 효과적으로 전이할 수 있는가?
• RQ5 강화학습 파이프라인에 운동 계획 모듈을 통합하면 독립형 계획기보다 더 빠르고 신뢰할 수 있는 경로 계획을 가능하게 하는가?

주요 결과

• 제안된 방법은 객체 중심 설정에서 미리 보지 못한 의자에 대해 74.5%의 성공률을 달성하였으며, 이는 RRT-Connect 기준선(18.8%)을 크게 뛰어넘는 성과이다.
• 전체 설정에서는 미리 보지 못한 의자에 대해 50.0%의 성공률을 달성하여 강력한 제로샷 일반화 능력을 입증한다.
• 훈련된 정책는 평균 37.8k 단계의 조립 경로를 계획하는 데 소요되며, RRT-Connect의 91.7k 단계와 비교해 더 뛰어난 계산 효율성을 보인다.
• 640개의 증강된 단일 작업 정책에서 학습한 다중 작업 정책는 192개의 미리 보지 못한 의자에 대해 효과적으로 일반화되며, 이는 강건성과 확장성의 확보를 확인한다.
• 이 방법은 성공적인 조립 당 평균 계획 시간을 2분 이내로 단축시키며, RRT-Connect는 상당히 더 긴 계산 시간이 소요된다.
• 어려운 훈련 세트에서 객체 중심 설정 하에 성공률는 79.4%로 나타나, 복잡하고 도전적인 의자 구성에 대해 강력한 성능을 보인다.