[논문 리뷰] RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

Haochen Shi, Huazhe Xu외 3명|arXiv (Cornell University)|2023. 06. 26.

Robot Manipulation and Learning인용 수 7

한 줄 요약

RoboCook는 다양한 도구를 사용하여 고무성 및 플라스틱 물체(반죽 등)의 장기적 조작을 가능하게 하는 로봇 프레임워크이다. 자기지도 학습 정책 학습과 그래프 신경망(GNN)을 활용한 동역학 모델링, PointNet 기반의 도구 분류를 결합하여 도구당 실세계 데이터 20분으로도 높은 성능을 달성하며, 만두 제조 및 알파벳 쿠키 제작과 같은 작업에서 최신 기술을 초월한다.

ABSTRACT

Humans excel in complex long-horizon soft body manipulation tasks via flexible tool use: bread baking requires a knife to slice the dough and a rolling pin to flatten it. Often regarded as a hallmark of human cognition, tool use in autonomous robots remains limited due to challenges in understanding tool-object interactions. Here we develop an intelligent robotic system, RoboCook, which perceives, models, and manipulates elasto-plastic objects with various tools. RoboCook uses point cloud scene representations, models tool-object interactions with Graph Neural Networks (GNNs), and combines tool classification with self-supervised policy learning to devise manipulation plans. We demonstrate that from just 20 minutes of real-world interaction data per tool, a general-purpose robot arm can learn complex long-horizon soft object manipulation tasks, such as making dumplings and alphabet letter cookies. Extensive evaluations show that RoboCook substantially outperforms state-of-the-art approaches, exhibits robustness against severe external disturbances, and demonstrates adaptability to different materials.

연구 동기 및 목표

• 다양한 도구를 사용하는 장기적 작업에서 탄성-플라스틱 물체의 자율적 로봇 조작을 가능하게 하기.
• 복잡한 조작 작업에서 도구 선택 및 장기적 물리적 계획 문제 해결하기.
• 실세계 상호작용 데이터의 최소한의 양으로부터 자기지도 학습을 활용하여 고비용 인간 시연에 대한 의존도를 줄이기.
• 실세계 시각 관측 데이터를 직접 사용해 훈련한 GNN을 통해 시뮬레이션에서 실세계로의 격차를 줄이기.

제안 방법

• 탄성 물체와 도구의 상태를 3차원 공간에서 점군 기반의 시cene 표현을 사용해 모델링한다.
• 실세계 영상 데이터로 훈련된 그래프 신경망(GNN)을 활용해 도구-물체 상호작용의 물리적 동역학을 예측한다.
• 시각 입력을 기반으로 각 작업 단계에서 가장 적합한 도구를 선택하기 위해 PointNet 기반의 도구 분류기 통합한다.
• 학습된 GNN 동역학 모델로 생성한 시뮬레이션 데이터를 기반으로 목표 조건이 부여된 자기지도 학습 정책 네트워크를 훈련시켜 효율적인 온라인 추론을 구현한다.
• 복잡한 기술(잡기, 굴리기, 눌기 등)을 위한 학습된 정책과 간단한 동작을 위한 수동으로 설정된 정책을 통합한다.
• 실시간으로 인식, 동역학 예측, 도구 선택, 동작 실행을 통합하는 피드백 루프 제어 시스템을 사용한다.

실험 결과

연구 질문

• RQ1 로봇이 도구당 실세계 데이터 20분으로만 탄성-플라스틱 물체의 장기적, 다도구 조작을 학습할 수 있는가?
• RQ2 실세계 시각 관측 데이터로 훈련된 GNN 기반의 동역학 모델이 탄성 조작에서 복잡한 도구-물체 상호작용을 얼마나 정확하게 예측할 수 있는가?
• RQ3 실세계로 훈련된 동역학 모델에서 생성한 시뮬레이션 데이터로부터 자기지도 학습 정책을 학습하는 것이 CEM 또는 강화학습(RL)과 같은 온라인 계획 방법보다 성능이 뛰어나게 되는가?
• RQ4 도구 분류와 동역학 모델링을 통합함으로써 다도구 시나리오에서 작업 성공률이 얼마나 향상되는가?
• RQ5 재훈련 없이 다양한 재료와 형태에 대해 얼마나 잘 일반화되는가?

주요 결과

• RoboCook는 만두 제조 및 알파벳 쿠키 제작 작업 모두에서 RoboCraft, CEM+GNN, RL+GNN 등 최신 기술을 뛰어넘으며 통계적으로 유의미한 성능 향상을 보였다.
• PointNet 기반 아키텍처를 사용해 도구 분류 정확도가 99.6%에 도달하여 조명 및 색상 변형에 대해 뛰어난 내구성을 입증했다.
• 인간 평가 결과, RoboCook의 결과물이 92%의 경우에서 올바른 알파벳 문자로 인식되었으며, 기준 기술 대비 인간 인식에서 뛰어난 성능을 보였다.
• 심각한 외부 교란 상황에서도 높은 성공률를 유지하여 실시간 실행 중 강력한 내구성을 입증했다.
• 실세계로 훈련된 동역학 모델에서 생성한 시뮬레이션 데이터 기반 자기지도 학습 정책은 CEM 또는 RL과 같은 온라인 계획 방법보다 더 빠르고 효과적인 동작 합성을 가능하게 했다.
• 재훈련 없이도 다양한 재료에 대해 일반화되어, 다양한 반죽 종류에서 동일한 목표 형태를 성공적으로 형성했다.