[論文レビュー] Improvisation through Physical Understanding: Using Novel Objects as Tools with Visual Foresight

Annie Xie, Frederik Ebert+2 more|arXiv (Cornell University)|Apr 11, 2019

Robot Manipulation and Learning被引用数 15

ひとこと要約

本論文は、生のピクセル観測のみを用いて、未確認の物体を即興的に道具として使用できるロボットを可能にする視覚的予測フレームワークを提案する。多様なデモデータと自己教師付きのインタラクションデータを組み合わせることで、マルチオブジェクトのインタラクションを計画する動画予測モデルを訓練し、ロボットが道具を使用するか直接操作するかを動的に選択できるようにする。本手法は、複雑で未確認の道具使用タスクにおいて、単独の模倣学習や視覚的計画法を上回る性能を発揮する。

ABSTRACT

Machine learning techniques have enabled robots to learn narrow, yet complex tasks and also perform broad, yet simple skills with a wide variety of objects. However, learning a model that can both perform complex tasks and generalize to previously unseen objects and goals remains a significant challenge. We study this challenge in the context of "improvisational" tool use: a robot is presented with novel objects and a user-specified goal (e.g., sweep some clutter into the dustpan), and must figure out, using only raw image observations, how to accomplish the goal using the available objects as tools. We approach this problem by training a model with both a visual and physical understanding of multi-object interactions, and develop a sampling-based optimizer that can leverage these interactions to accomplish tasks. We do so by combining diverse demonstration data with self-supervised interaction data, aiming to leverage the interaction data to build generalizable models and the demonstration data to guide the model-based RL planner to solve complex tasks. Our experiments show that our approach can solve a variety of complex tool use tasks from raw pixel inputs, outperforming both imitation learning and self-supervised learning individually. Furthermore, we show that the robot can perceive and use novel objects as tools, including objects that are not conventional tools, while also choosing dynamically to use or not use tools depending on whether or not they are required.

研究の動機と目的

• 生の視覚観測のみを用いて、以前に見たことのない物体に対して複雑かつ即興的な道具使用を可能にすること。
• 物体の性質や形状についての事前知識がなくとも、新しい道具や目標に一般化できるようにすること。
• 模倣学習と視覚的モデルベース計画法を組み合わせることで、タスクの複雑さと一般化能力の両方を達成すること。
• タスク要件に基づいて、自動的に道具を使用するか直接操作するかを判断できるようにすること。

提案手法

• 本手法は、人間のデモデータと、ランダムな行動によって収集された自己教師付きのインタラクションデータの組み合わせを用いて、視覚的予測モデルを訓練する。
• サンプリングベースのプランナ（例：CEM）は、動画予測モデルを用いて将来の軌道をシミュレートし、目的を達成する行動を選択する。
• 計画のための行動提案分布はデモから学習され、サンプル効率が向上し、効果的な道具使用戦略への探索が促進される。
• モデルは、行動と現在の観測を条件として将来のフレームを予測し、明示的な状態表現を必要とせずに、予測に基づく計画を可能にする。
• 本フレームワークは、デモを用いて計画の分布を形作り、動画予測器を事前学習することで、模倣学習と視覚的予測を統合する。
• システムはリアルタイムで動作し、生の画像入力から1秒未満で計画と道具使用行動の実行が可能である。

実験結果

リサーチクエスチョン

• RQ1 生の視覚観測のみを用いて、非伝統的で未確認の物体を道具として使用できるように、ロボットが学習できるか？
• RQ2 模倣学習と視覚的予測の組み合わせが、それぞれのアプローチ単独よりも即興的道具使用において優れているか？
• RQ3 タスクの効率性や環境的制約に基づいて、ロボットが道具使用か直接操作かを動的に判断できるか？
• RQ4 本手法は、視覚的予測の一般化能力を維持しながら、複雑なタスクの遂行を達成できるか？

主な発見

• ロボットは、以前に見たことのないスポンジを用いて皿を拭くことに成功し、非伝統的で未確認の道具に対する一般化能力を示した。
• 以前に見たことのない包丁を用いて、まな板の端に二つのゴミを押す行動を学習し、効果的な即興的使用を示した。
• 従来の道具が存在しない状況では、水筒を用いてゴミをはくことで、日常的な物を即興的に道具として使用できる能力を証明した。
• 純粋な模倣学習や純粋な視覚的予測よりも本手法が優れており、計画と動画予測の両方の訓練にデモを組み合わせた場合に最も優れた結果が得られた。
• 道具使用が非効率な場合（例：単一オブジェクトの押し出しタスク）、プランナは道具を使用しない軌道を効果的に発見した。これにより、本手法の柔軟性と効率性が確認された。