[論文レビュー] iGibson 2.0: Object-Centric Simulation for Robot Learning of Everyday Household Tasks

Chengshu Li, Fei Xia+14 more|arXiv (Cornell University)|Aug 6, 2021

Robot Manipulation and Learning参考文献 33被引用数 62

ひとこと要約

iGibson 2.0 は Gibson シミュレーションを拡張し、オブジェクト中心の拡張状態（温度、濡れ、清潔さ、切替およびスライス）、述語ベースのロジックとサンプリング、そしてVR インターフェースを追加し、デモの収集を可能にして、六つの新しい家庭内タスクと模倣学習を実現します。

ABSTRACT

Recent research in embodied AI has been boosted by the use of simulation environments to develop and train robot learning approaches. However, the use of simulation has skewed the attention to tasks that only require what robotics simulators can simulate: motion and physical contact. We present iGibson 2.0, an open-source simulation environment that supports the simulation of a more diverse set of household tasks through three key innovations. First, iGibson 2.0 supports object states, including temperature, wetness level, cleanliness level, and toggled and sliced states, necessary to cover a wider range of tasks. Second, iGibson 2.0 implements a set of predicate logic functions that map the simulator states to logic states like Cooked or Soaked. Additionally, given a logic state, iGibson 2.0 can sample valid physical states that satisfy it. This functionality can generate potentially infinite instances of tasks with minimal effort from the users. The sampling mechanism allows our scenes to be more densely populated with small objects in semantically meaningful locations. Third, iGibson 2.0 includes a virtual reality (VR) interface to immerse humans in its scenes to collect demonstrations. As a result, we can collect demonstrations from humans on these new types of tasks, and use them for imitation learning. We evaluate the new capabilities of iGibson 2.0 to enable robot learning of novel tasks, in the hope of demonstrating the potential of this new simulator to support new research in embodied AI. iGibson 2.0 and its new dataset are publicly available at http://svl.stanford.edu/igibson/.

研究の動機と目的

• ロボットシミュレーションを kinodynamics だけでなく、家庭タスクに関連するオブジェクト状態の変化（例: 温度、濡れ、清潔さ）をカバーする方向へ拡張する動機づけ。
• 物理状態を意味状態に写像し、多様なタスクインスタンスを種 seed する論理述語と生成サンプリングのフレームワークを導入する。
• 新しいタスクの模倣学習のために人間のデモを収集するVR インターフェースを提供する。
• 意味的に配置された小さなオブジェクトで密に populated されたシーンを現実的なタスク学習を支えるために人口できる能力を示す。
• 拡張状態と VR ガイド付きデモンストレーションを用いた学習の実現可能性を示すため、六つの新規タスクを評価する。

提案手法

• 各オブジェクトカテゴリごとに温度、濡れレベル、清潔度レベル、トグル状態、スライス状態を拡張オブジェクト状態として維持する。
• 物理状態を意味状態に写像し、言語に基づく表現を可能にする一項述語と二項述語（例: Cooked, Soaked, InsideOf）を定義する。
• 論理状態から有効なシミュレート状態を生成する生成サンプリングシステムを実装し、意味的に意味のあるシーン初期化を可能にする。
• 生成システムを用いてシーンを密に配置するための規則ベースのメカニズムを開発し、手作業での作成を増やさず現実味を高める。
• 没入型デモンストレーションのための VR インターフェース（OpenVR 互換）を提供し、VR での自然な両手操作を可能にするアシストグリッピングを導入する。
• ポストホックなセンサ信号生成と模倣学習ワークフローのために、状態の決定論的に再生可能なログをサポートする。

実験結果

リサーチクエスチョン

• RQ1 拡張オブジェクト状態は、従来のシミュレータでは実現できなかった家庭タスクの学習を可能にするか。
• RQ2 述語ベースの生成システムは、多様で現実的なタスク初期化を作成するうえでどれほど有効か。
• RQ3 VR ベースのデモンストレーションインターフェースは、これらの拡張状態タスクにおける両手操作の模倣学習を改善するか。
• RQ4 温度、濡れ、スライスを含むタスクにおける強化学習と模倣学習の破綻点はどこか。

主な発見

• 拡張状態を必要とする六つの新規タスクを評価: Grasping Book、Soaking Towel、Cleaning Stained Shelf、Cooking Meat、Slicing Fruit、Bimanual Pick and Place。
• 簡易グリッピングで、SAC は Grasping Book、Soaking Towel、Cleaning Stained Shelf、Cooking Meat で 100% の成功を達成；Slicing Fruit は 15%（bimanual humanoid）、0%（Fetch）。
• 人型モデルによる Bimanual Pick and Place は協調の課題で 0%、Fetch の全グリッピング複雑さは 2 つのタスクで 25%、他の 3 つは 0%。
• VR デモンストレーションによる bimanual タスクの模倣学習は、ゴールから 6 秒前と 3 秒前から開始でそれぞれ 19% と 46% の成功を示した。
• Soaking Towel のアブレーションは、初期状態の多様性が増すにつれて堅牢性が向上することを示し、成功率は 19%、79%、87% となった。
• VR インターフェースは模倣学習のデモ収集を可能にし、長く多段階タスクでの共変量シフト課題を浮き彫りにする。