[論文レビュー] IGLU Gridworld: Simple and Fast Environment for Embodied Dialog Agents

Artem Zholus, Alexey Skrynnik+6 more|arXiv (Cornell University)|May 31, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

IGLU Gridworld は、共同対話付きの 3D ブロック積み木タスクにおいて、言語で制御される身体的なエージェントを訓練および評価するための高速で軽量な Python ベースの強化学習環境です。階層的強化学習、スキル学習、一般化に関する研究を可能にするマルチタスク階層ベースラインを備えており、多様なタスクタイプにおいてランダムエージェントや先行コンペティションのソリューションを上回っています。

ABSTRACT

We present the IGLU Gridworld: a reinforcement learning environment for building and evaluating language conditioned embodied agents in a scalable way. The environment features visual agent embodiment, interactive learning through collaboration, language conditioned RL, and combinatorically hard task (3d blocks building) space.

研究の動機と目的

• 自然言語指示に従う身体的エージェントの訓練および評価を可能にするスケーラブルで高速かつ透明な環境を開発すること。
• 共同学習、模倣学習および強化学習における一般化、身体的 AI における階層的意思決定に関する研究を支援すること。
• 組み合わせ的に豊かな構造を持つ形式化可能な 3D グリッドベースのタスク空間を通じて、オープンエンドで継続的な学習を可能にすること。
• スキルベースのタスク分解とカリキュラム学習をサポートするベンチマーク環境を提供すること。
• 一貫性があり拡張可能な Python API を通じて、データ収集およびモデル評価を容易にすること。

提案手法

• 環境は純粋な Python で実装されており、レンダラを分離することでヘッドレス動作が可能であり、高スループットのシミュレーション（レンダリングを無効にした場合最大 17,000 SPS）を実現しています。
• 観測値には 64×64×3 の POV イメージ、エージェントのインVENTORY、3D 積み木領域グリッド（11×9×11）、エージェントのポーズ（位置、ピッチ、ヨー）が含まれます。
• 行動空間は 14 の離散的行動から構成されています：移動、ジャンプ、ブロック設置/破壊、ブロックタイプ選択（1〜6）、および連続的なカメラ操作。
• 報酬は、現在の状態グリッドとターゲットグリッドの間で畳み込みに類似した整合性手順を用いて計算され、時間経過とともにブロックごとの重複率を最大化します。
• タスクは、(対話文脈、ターゲット指示、ターゲットブロック構成) のペアで定義されるコラボレーションセグメントの系列として構造化されています。
• マルチタスク階層的強化学習ベースライン（MHB）を提案し、ターゲット予測に BERT を用いた NLP モジュール、ヒューリスティックなサブタスク生成器、サブタスク実行に APPO を用いた強化学習モジュールを含んでいます。

実験結果

リサーチクエスチョン

• RQ1 軽量で高速かつスケーラブルな環境は、複雑な 3D タスクにおける言語で制御される身体的エージェントの訓練をどのように支援できるか？
• RQ2 カリキュラム学習を用いた階層的強化学習は、多様な 3D ブロック積み木タスクにおいて一般化をどの程度向上できるか？
• RQ3 NLP、ヒューリスティック計画、強化学習の各モジュールを備えたモジュラーな MHB アーキテクチャは、マルチスキル環境においてランダムエージェントやベースラインエージェントを上回ることができるか？
• RQ4 この環境は、身体的 AI におけるスキルベースの一般化と生涯学習をどのようにサポートするか？
• RQ5 マルチタスク階層エージェントの性能は、飛行構造、高層構造、斜め構造、平面構造、および難易度の高い構造を含む、さまざまなタスクタイプにおいてどのように評価されるか？

主な発見

• IGLU Gridworld はヘッドレスモードで最大 17,000 ステップ／秒を達成しており、3D 身体的タスク向けの Python ベースの強化学習環境としては最も高速の部類に属します。
• マルチタスク階層ベースライン（MHB）は、全タスクで F1 スコア 0.313 を達成し、ランダムエージェント（0.039）を著しく上回っており、複雑な構造に対しても高い性能を示しています。
• NLP ヘッドを備えた MHB エージェントは、全タスクで F1 スコア 0.313 を達成しており、多様なスキルタイプにわたる強力な一般化能力を示しています。
• ヒューリスティックなサブタスク生成器を含む完全なパイプラインを備えた MHB エージェントは、全タスクで F1 スコア 0.258 を達成しており、構造的なサブタスク計画の価値を示しています。
• 組み合わせ的に難しい 3D ブロック構成と対話型コラボレーションを備えた環境により、豊かなタスク一般化が可能になっています。
• MHB ベースラインは、IGLU 2021 NeurIPS コンペティションに提出されたすべてのソリューションを上回っており、その有効性が裏付けられています。