[논문 리뷰] Improvisation through Physical Understanding: Using Novel Objects as Tools with Visual Foresight

Annie Xie, Frederik Ebert외 2명|arXiv (Cornell University)|2019. 04. 11.

Robot Manipulation and Learning인용 수 15

한 줄 요약

이 논문은 원시 픽셀 관측만을 사용하여 로봇이 새로운, 알려지지 않은 물체를 활용해 즉흥적인 도구 사용을 수행할 수 있도록 하는 시각적 전망 프레임워크를 제안한다. 다양한 시연 데이터와 자기지도적 상호작용 데이터를 조합함으로써, 다물체 상호작용을 계획할 수 있는 비디오 예측 모델을 훈련시키는 방법을 통해, 로봇이 도구 사용 여부를 동적으로 결정하고, 순수한 시뮬레이션 학습이나 시각적 계획만을 사용할 때보다 더 복잡한, 알려지지 않은 도구 사용 작업에서 뛰어난 성능을 발휘한다.

ABSTRACT

Machine learning techniques have enabled robots to learn narrow, yet complex tasks and also perform broad, yet simple skills with a wide variety of objects. However, learning a model that can both perform complex tasks and generalize to previously unseen objects and goals remains a significant challenge. We study this challenge in the context of "improvisational" tool use: a robot is presented with novel objects and a user-specified goal (e.g., sweep some clutter into the dustpan), and must figure out, using only raw image observations, how to accomplish the goal using the available objects as tools. We approach this problem by training a model with both a visual and physical understanding of multi-object interactions, and develop a sampling-based optimizer that can leverage these interactions to accomplish tasks. We do so by combining diverse demonstration data with self-supervised interaction data, aiming to leverage the interaction data to build generalizable models and the demonstration data to guide the model-based RL planner to solve complex tasks. Our experiments show that our approach can solve a variety of complex tool use tasks from raw pixel inputs, outperforming both imitation learning and self-supervised learning individually. Furthermore, we show that the robot can perceive and use novel objects as tools, including objects that are not conventional tools, while also choosing dynamically to use or not use tools depending on whether or not they are required.

연구 동기 및 목표

• 로봇이 원시 시각 관측만을 사용하여 이전에 본 적 없는 물체를 복잡하게 즉흥적으로 도구로 사용할 수 있도록 하는 것.
• 물체의 성질이나 형태에 대한 사전 지식 없이도 새로운 도구와 목표에 일반화하는 데 도전하는 것.
• 시뮬레이션 학습과 시각적 모델 기반 계획을 조합하여 작업의 복잡성과 일반화 능력을 동시에 달성하는 것.
• 작업 요구사항에 따라 도구를 사용할지 직접 물체를 조작할지 자율적으로 결정할 수 있도록 하는 것.

제안 방법

• 이 방법은 인간 시연 데이터와 랜덤 동작을 통해 수집한 자기지도적 상호작용 데이터의 조합을 사용하여 시각 예측 모델을 훈련시킨다.
• 샘플 기반 계획기(예: CEM)는 비디오 예측 모델을 사용해 미래의 궤적을 시뮬레이션하고 목표를 달성하는 데 적합한 동작을 선택한다.
• 계획을 위한 동작 제안 분포는 시연에서 학습되며, 이는 샘플 효율성을 높이고 효과적인 도구 사용 전략으로 향하는 탐색을 이끈다.
• 모델은 동작과 현재 관측을 조건으로 향후 프레임을 예측하여, 명시적인 상태 표현 없이도 전망 기반 계획을 가능하게 한다.
• 이 프레임워크는 시뮬레이션 학습과 시각적 전망을 통합하여, 시연를 통해 계획 분포를 형성하고 비디오 예측기의 사전 훈련을 수행한다.
• 시스템은 실시간으로 작동하여 원시 이미지 입력에서부터 도구 사용 행동을 1초 이내로 계획하고 실행할 수 있다.

실험 결과

연구 질문

• RQ1 로봇은 원시 시각 관측만을 사용하여 새로운 비표준 물체를 도구로 사용해 복잡한 작업을 수행할 수 있는가?
• RQ2 시뮬레이션 학습과 시각적 전망의 조합이 즉흥적 도구 사용에서 각각의 접근법보다 뛰어난 성능을 내는가?
• RQ3 작업 효율성과 환경 제약 조건에 따라 로봇이 도구 사용 여부를 동적으로 결정할 수 있는가?
• RQ4 이 방법은 복잡한 작업 성능을 달성하면서도 시각적 전망의 일반화 능력을 유지하는가?

주요 결과

• 로봇은 이전에 본 적 없는 sponge를 사용해 접시를 닦는 데 성공하여, 새로운 비표준 도구에 대한 일반화 능력을 입증했다.
• 로봇은 이전에 본 적 없는 칼을 사용해 썰어보드 가장자리로 쓰레기를 두 조각 모두 밀어내는 데 성공하여, 효과적인 즉흥적 사용 능력을 보였다.
• 기존의 도구가 없는 상황에서 로봇은 물병을 사용해 쓰레기를 치우는 데 성공하여 일상적인 물체로 즉흥적 도구 사용이 가능한 능력을 입증했다.
• 순수한 시뮬레이션 학습이나 순수한 시각적 전망보다 더 뛰어난 성능을 보였으며, 계획과 비디오 예측 훈련에 모두 시연 데이터를 사용할 때 최고의 결과를 얻었다.
• 도구 사용이 비효율적인 경우(예: 단일 물체 밀기 작업) 도구 사용이 아닌 경로를 성공적으로 찾는 것으로, 이 방법의 유연성과 효율성을 확인했다.