[論文レビュー] VRKitchen: an Interactive 3D Virtual Environment for Task-oriented Learning

Xiaofeng Gao, Ran Gong+4 more|arXiv (Cornell University)|Mar 13, 2019

Reinforcement Learning in Robotics参考文献 51被引用数 35

ひとこと要約

VRKitchen は写真実写のVRキッチン環境を提供し、細かな物体操作を可能にする。デモンストレーションから学習し、タスク指向の学習のベンチマーキングが可能。VRによる人間のデモとPython APIによるAIエージェントの両方をサポートし、VR Chef Challengeによる標準化評価も提供。

ABSTRACT

One of the main challenges of advancing task-oriented learning such as visual task planning and reinforcement learning is the lack of realistic and standardized environments for training and testing AI agents. Previously, researchers often relied on ad-hoc lab environments. There have been recent advances in virtual systems built with 3D physics engines and photo-realistic rendering for indoor and outdoor environments, but the embodied agents in those systems can only conduct simple interactions with the world (e.g., walking around, moving objects, etc.). Most of the existing systems also do not allow human participation in their simulated environments. In this work, we design and implement a virtual reality (VR) system, VRKitchen, with integrated functions which i) enable embodied agents powered by modern AI methods (e.g., planning, reinforcement learning, etc.) to perform complex tasks involving a wide range of fine-grained object manipulations in a realistic environment, and ii) allow human teachers to perform demonstrations to train agents (i.e., learning from demonstration). We also provide standardized evaluation benchmarks and data collection tools to facilitate a broad use in research on task-oriented learning and beyond.

研究の動機と目的

• AI における現実的で標準化されたトレーニング環境の欠如に対処する。
• 現実的なキッチン設定内で複雑で細かな物体操作を可能にする。
• デモンストレーションの学習を促進するため、VRによる人間のデモとPython APIによるAIトレーニングの両方のインターフェースを提供する。
• 3D環境での学習アルゴリズムの広範な評価を可能にする標準化されたベンチマークとデータ収集ツールを提供する。

提案手法

• 物理ベースのシミュレーションと写真実写レンダリングを備えた Unreal Engine 4 上に構築された設定可能な仮想キッチン環境。
• シーンごとに 55 個のインタラクティブオブジェクトと状態変化（例：パンの焼き色、トマトのスライス）をシミュレートする詳細な実体を持つ humanoid エージェントを使用。
• オブジェクトを部品に分解し、それぞれのアフォーダンスを持つ細かな合成的な相互作用。
• デモンストレーションの二つのインターフェース：連続操作のVRベースのテレオペレーションと離散アクション系列＋世界状態ビューのPython API。
• 高レベルのコマンドをモーター制御信号へ変換するコントローラを実装した Python–UE4 ブリッジで、低レベル（平行/回転）および高レベル（原子的動作）制御を実現。
• ツール使用と皿の準備タスクを含む VR Chef Challenge を通じて学習と計画アルゴリズムをベンチマーク。

実験結果

リサーチクエスチョン

• RQ1 リッチなオブジェクト状態変化を備えた現実的な3D仮想環境は、長期的なタスク指向の目標の学習をどの程度支援できるか？
• RQ2 VRを介した人間のデモとAI学習を組み合わせると、複雑な料理タスクの効率的なトレーニングを得られるか？
• RQ3 3Dキッチンシミュレーション内でのモータ制御と視覚計画の獲得における現在の深層RL手法の能力と限界は何か？
• RQ4 標準化されたベンチマークとデータセット（例：UCLA VR Chef Dataset）は、3D環境でのタスク指向学習アプローチの比較をどのように促進できるか？

主な発見

• VRKitchen は長いシーケンスの細かなアクションと状態変化を可能にし、キッチン環境での切る、むく、料理、組み立てといったタスクを実現する。
• A2C、DDPG、PPO を用いた実験では、ツール使用タスクの大きな状態空間でRLエージェントが苦戦し、3Dで動的な環境での学習の課題が浮き彫りになる。
• 3つの皿の準備タスクは、アルゴリズムによって収束レベルが異なる：易しいタスクはほぼ最適に収束、PPOで中程度タスクが収束、難しいタスクはテスト済みのRL手法では未解決。
• VRデバイスを介して収集された人間のデモンストレーションはブートストラップとデモンストレーション学習のデータを提供し、UCLA VR Chef Dataset が導入される。
• このシステムは連続アクションのテレオペレーションとPython APIによる離散アクション系列の両方をサポートし、柔軟なトレーニングと評価ワークフローを可能にする。