[論文レビュー] Modeling Long-horizon Tasks as Sequential Interaction Landscapes

Sören Pirk, Karol Hausman+2 more|arXiv (Cornell University)|Jan 1, 2020

Robot Manipulation and Learning被引用数 1

ひとこと要約

本論文では、実時間の視覚的観測とデモ動画から直接、行動記号とその遷移を学習することで、長時間スパンのロボット操作タスクを段階的相互作用ランドスケープとしてモデル化するディーブラーニングフレームワークを提案する。このアプローチにより、ロボットは計画を動的に予測・適応可能となり、ブロック積みや7自由度の操作といった複雑なタスクにおいて、強靭な実行と障害回復を達成する。

ABSTRACT

Complex object manipulation tasks often span over long sequences of operations. Task planning over long-time horizons is a challenging and open problem in robotics, and its complexity grows exponentially with an increasing number of subtasks. In this paper we present a deep learning network that learns dependencies and transitions across subtasks solely from a set of demonstration videos. We represent each subtask as an action symbol (e.g. move cup), and show that these symbols can be learned and predicted directly from image observations. Learning from demonstrations and visual observations are two main pillars of our approach. The former makes the learning tractable as it provides the network with information about the most frequent transitions and relevant dependency between subtasks (instead of exploring all possible combination), while the latter allows the network to continuously monitor the task progress and thus to interactively adapt to changes in the environment. We evaluate our framework on two long horizon tasks: (1) block stacking of puzzle pieces being executed by humans, and (2) a robot manipulation task involving pick and place of objects and sliding a cabinet door with a 7-DoF robot arm. We show that complex plans can be carried out when executing the robotic task and the robot can interactively adapt to changes in the environment and recover from failure cases.

研究の動機と目的

• ロボットの複雑で長時間にわたる操作タスクの計画を、指数関数的に複雑化する課題に取り組むこと。
• 全組み合わせの総当り的探索を経由せずに、デモ動画から部分タスクの依存関係と遷移を学習可能にする。
• 視覚的観測による継続的環境モニタリングを可能にし、実時間での適応と障害回復を実現すること。
• 長時間スパンのタスク実行において、デモ学習と実時間の視覚フィードバックのギャップを埋めること。

提案手法

• 各部分タスクを、画像観測から直接学習された行動記号（例：'カップを動かす'）として表現する。
• デモ動画のみを教師信号として用いて、行動記号のシーケンスを予測するためのディーブラーニングネットワークを訓練する。
• タスク進行状況のモニタリングと計画シーケンスからの逸脱検出のため、実時間の視覚的観測を統合する。
• デモで得られた遷移と視覚フィードバックの組み合わせを用いて、実行中のインタラクティブな適応を可能にする。
• 各状態が記号的行動に対応する段階的相互作用ランドスケープとしてタスクをモデル化する。
• 模倣学習を活用して、可能なタスク計画の探索空間を縮小し、長時間スパンの計画を現実可能にする。

実験結果

リサーチクエスチョン

• RQ1 ロボットは、デモ動画のみから長時間スパンの操作タスク計画をどのように学習できるか？
• RQ2 視覚的観測は、タスク実行中の実時間適応をどのように可能にするか？
• RQ3 学習された記号的行動シーケンスは、複雑な操作タスクにおける強靭な実行と障害回復を支援できるか？
• RQ4 部分タスク間の依存関係は、デモデータからどのように出現し、計画にどのように影響を与えるか？

主な発見

• 本フレームワークは、動画デモのみを用いて、ブロック積みや7自由度ロボット操作を含む複雑な長時間スパンタスクを成功裏に学習・実行した。
• タスク実行中に継続的に視覚的観測をモニタリングすることで、環境変化へのインタラクティブな適応が達成された。
• 実世界のシナリオにおいて障害回復が実証され、システムの予期せぬ摂動に対する耐性が示された。
• モデルは、デモ動画から部分タスクの依存関係と遷移パターンを効果的に捉え、正確な計画予測を可能にした。