[논문 리뷰] TossingBot: Learning to Throw Arbitrary Objects with Residual Physics

Andy Zeng, Shuran Song외 3명|arXiv (Cornell University)|2019. 03. 27.

Robot Manipulation and Learning인용 수 15

한 줄 요약

TossingBot는 RGB-D 시각 관측을 사용하여 임의의 강성 물체에 대해 抓거과 던지기 정책을 종합 최적화하는 엔드 투 엔드 딥 강화 학습 시스템을 제안한다. 물리 기반 궤도 제어기와 딥 러닝을 조합하여 발사 속도의 잔차를 예측함으로써, 시간당 평균 500회 이상의 취득과 85%의 던지기 정확도를 달성하며, 훈련 범위를 벗어난 새로운 물체와 목표 위치로의 일반화를 가능하게 한다.

ABSTRACT

We investigate whether a robot arm can learn to pick and throw arbitrary objects into selected boxes quickly and accurately. Throwing has the potential to increase the physical reachability and picking speed of a robot arm. However, precisely throwing arbitrary objects in unstructured settings presents many challenges: from acquiring reliable pre-throw conditions (e.g. initial pose of object in manipulator) to handling varying object-centric properties (e.g. mass distribution, friction, shape) and dynamics (e.g. aerodynamics). In this work, we propose an end-to-end formulation that jointly learns to infer control parameters for grasping and throwing motion primitives from visual observations (images of arbitrary objects in a bin) through trial and error. Within this formulation, we investigate the synergies between grasping and throwing (i.e., learning grasps that enable more accurate throws) and between simulation and deep learning (i.e., using deep networks to predict residuals on top of control parameters predicted by a physics simulator). The resulting system, TossingBot, is able to grasp and throw arbitrary objects into boxes located outside its maximum reach range at 500+ mean picks per hour (600+ grasps per hour with 85% throwing accuracy); and generalizes to new objects and target locations. Videos are available at https://tossingbot.cs.princeton.edu

연구 동기 및 목표

• 로봇 암이 자신의 운동학적 도달 범위를 초월한 먼 목표지점에 임의의 강성 물체를 신뢰성 있게 抓거하고 던지도록 하는 것.
• 비정형 환경에서 물체의 성질(질량 분포, 마찰, 형상, 항공역학적 성질)의 다양성을 다루는 것.
• 고정된 사전 던지기 조건에 의존하지 않고, 시행착오를 통해 통합된 抓거 및 던지기 정책을 학습하는 것.
• 시각 인식을 활용하여 抓거 품질과 발사 속도를 종합 최적화함으로써 던지기 정확도를 향상시키는 것.
• 물리 시뮬레이션 위에 잔차 학습을 적용할 경우 실세계 조작 작업에서 일반화 능력과 성능 향상에 어떤 영향을 미치는지 탐구하는 것.

제안 방법

• RGB-D 영상에서 박스의 상태를 기반으로, 픽셀 단위의 고밀도 抓거 가능성과 해당하는 던지기 발사 속도를 예측하는 딥 뉴럴 네트워크를 사용한다.
• 목표 위치와 물체 기하학적 구조를 바탕으로 이상적인 궤도 발사 속도 ($\hat{v}$)를 추정하기 위해 물리 기반 제어기를 활용한다.
• 잔차 학습을 적용: 최종 발사 속도는 $v = \hat{v} + \delta$로 표현되며, 여기서 $\delta$는 물체 특성에 따른 동역학 보정을 딥 네트워크가 예측한다.
• 시행착오를 통해 엔드 투 엔드 정책을 훈련시키며, 던지기 정확도(抓거 성공 = 정확한 던지기)로 보상 함수를 형상화한다.
• 시각적 외관과 기하학적 단서를 활용하여 질량 분포나 항공역학적 행동과 같은 물리적 사전 지식을 암묵적으로 학습한다.
• 특징 시각화를 통해 내부 표현을 분석하여, 명시적 지도 없이도 네트워크가 기하학적 특성 기반으로 군집화를 학습하고 있음을 확인한다.

실험 결과

연구 질문

• RQ1 로봇이 시각 관측과 시행착오 외에 다른 정보 없이 비정형 환경에서 임의의 강성 물체를 抓거하고 던질 수 있는가?
• RQ2 분리 최적화 대비 抓거와 던지기 정책을 종합적으로 학습할 경우 성능 향상 정도는 어떠한가?
• RQ3 모델링되지 않은 동역학을 보완하기 위해 데이터 기반 잔차를 물리 기반 제어기에 통합할 경우 성능 향상 정도는 어떠한가?
• RQ4 임의의 작업에 맞게 상호작용을 통해 학습된 딥 특징이 질량 분포나 항공역학적 성질과 같은 물리적 특성을 암묵적으로 인코딩할 수 있는가?
• RQ5 훈련 중에 볼 수 없었던 새로운 물체와 목표 위치로의 일반화 능력은 어느 정도인가?

주요 결과

• TossingBot은 시간당 평균 500회 이상의 취득(MPPH)과 85%의 던지기 정확도를 달성하여, 임의의 강성 물체에 대해 고속이고 안정적인 조작 능력을 입증한다.
• 훈련 범위 외의 새로운 물체와 최대 도달 범위를 초월한 목표 위치로도 일반화가 가능하여, 정책의 강건한 일반화 능력을 보여준다.
• 던지기 성능은 抓거 품질과 강하게 상관관계가 있으며, 종합 훈련이 抓거 안정성과 던지기 정확도를 모두 크게 향상시킨다.
• 잔차 물리학 접근 방식($v = \hat{v} + \delta$)은 순수 물리 기반 또는 순수 학습 기반 기준선 방법보다 성능이 뛰어나 정확도와 내구성을 향상시킨다.
• 특징 시각화 결과, 딥 네트워크가 명시적 지도 없이도 기하학적 및 물리적 사전 지식 기반 표현을 학습하고 있으며, 기하학적 및 동역학적 특성에 따라 물체를 군집화하는 것을 확인할 수 있다.
• 이러한 학습된 특징는 이 작업에 대해 ImageNet 사전 훈련된 특징보다 더 유용한 정보를 담고 있어, 작업에 특화된 상호작용이 더 관련 있는 의미적 이해를 가능하게 한다고 시사한다.