[論文レビュー] iGibson 1.0: a Simulation Environment for Interactive Tasks in Large Realistic Scenes

Bokui Shen, Fei Xia+13 more|arXiv (Cornell University)|Dec 5, 2020

Robot Manipulation and Learning参考文献 70被引用数 45

ひとこと要約

iGibson 1.0 は、物理ベースのシミュレーション環境で、15 の対話的な家庭規模のシーン（108 部屋）を提供し、高品質な仮想センサ、ドメインランダム化、モーションプランニング、そして大規模で現実的な環境におけるナビゲーションと操作の研究を可能にするヒューマンインタフェースを備え、堅牢なセンサモーター学習と模倣学習を実現する。

ABSTRACT

We present iGibson 1.0, a novel simulation environment to develop robotic solutions for interactive tasks in large-scale realistic scenes. Our environment contains 15 fully interactive home-sized scenes with 108 rooms populated with rigid and articulated objects. The scenes are replicas of real-world homes, with distribution and the layout of objects aligned to those of the real world. iGibson 1.0 integrates several key features to facilitate the study of interactive tasks: i) generation of high-quality virtual sensor signals (RGB, depth, segmentation, LiDAR, flow and so on), ii) domain randomization to change the materials of the objects (both visual and physical) and/or their shapes, iii) integrated sampling-based motion planners to generate collision-free trajectories for robot bases and arms, and iv) intuitive human-iGibson interface that enables efficient collection of human demonstrations. Through experiments, we show that the full interactivity of the scenes enables agents to learn useful visual representations that accelerate the training of downstream manipulation tasks. We also show that iGibson 1.0 features enable the generalization of navigation agents, and that the human-iGibson interface and integrated motion planners facilitate efficient imitation learning of human demonstrated (mobile) manipulation behaviors. iGibson 1.0 is open-source, equipped with comprehensive examples and documentation. For more information, visit our project website: http://svl.stanford.edu/igibson/

研究の動機と目的

• 大規模で現実的な室内シーンにおける対話型タスクのための具象的エージェントフレームワークを開発する。
• 堅牢な知覚学習のために高品質な仮想センサ信号（RGB、深度、LiDAR、flow、法線、セマンティック分割）を提供する。
• 材質、形状、および物体インスタンス全体でドメインランダム化を有効にし、一般化を向上させる。
• 衝突のないナビゲーションと操作のためにサンプリングベースのモーションプランナーを統合する。
• 模倣学習のデモンストレーションを効率的に収集するための human-iGibson インターフェースを提供する。

提案手法

• 現実の家をモデルにした、可動物体と材質/ダイナミクス注釈を備える、完全に対話可能な fifteen scenes (108 部屋) を現実の家をモデルにして提示する。
• リアリズムのためにシーン/材質マップを用いる、PBR材質とレンダリングを備えた物理ベースのレンダラを提供する。
• 訓練分布を広げるために、物体インスタンスと材質特性のドメインランダム化をサポートする。
• リッチな知覚信号のためにLiDARや他の仮想センサ（RGB、深度、法線、flow、セグメンテーション）を取り入れる。
• 加速制限付きのショートカットを備えたオープンソースのモーションプランナー（RRT、BiRRT、lazyPRM）を統合し、滑らかな軌道を実現する。
• デモンストレーションを収集し、プランナー支援タスクを補助するための human-iGibson インターフェース（マウス/キーボード）を提供する。

Figure 1 : Robot performs an interactive task in iGibson 1.0. It operates in the kitchen of one of iGibson’s fully interactive scenes, planning an interaction with the arm using a integrated sampling-based motion planner and receiving first-person view. Bottom: The same scene can be randomized with

実験結果

リサーチクエスチョン

• RQ1 ドメインランダム化と現実的なセンサ信号は、未知のシーンに対するナビゲーションポリシーの一般化にどのような影響を与えるか？
• RQ2 iGibson で訓練されたポリシーは、新しい環境で LiDAR、RGB、または深度入力を使用する場合に一般化できるか？
• RQ3 iGibson インターフェースを介して収集された人間のデモンストレーションは、操作とモバイル操作の模倣学習を効果的に支援するか？
• RQ4 完全に対話可能なシーンでの学習は、下流の操作タスクを加速させる視覚表現の学習を可能にするか？

主な発見

• ドメインランダム化で訓練されたポリシーは、深度ベースのPointGoalナビゲーションで一般化が向上する（SPL 0.27 から 0.40へ；成功率 31.25% から 44.75%）。
• 材質ランダム化で、RGBベースの物体ナビゲーションの成功率が 49.75% から 57.5% に向上。
• LiDARベースの PointGoal ナビゲーションは、 iGibson Rs_int で 33% の成功、実世界のアパートでは 24%（適応なし）で転移。
• human-iGibson インターフェースを用いた模倣学習は、シミュレーションでのピックアンドプレースタスクで 98% の成功を達成。
• モバイル操作の模倣学習は、評価エピソードで 70% の成功を達成。
• 対話ベースの表現での事前学習は、PushDrawer/PushCabinet の下流操作タスク学習を、サンプル効率の向上を通じて加速する。

(a) pick