[論文レビュー] LUMINOUS: Indoor Scene Generation for Embodied AI Challenges

Yizhou Zhao, Kaixiang Lin+5 more|arXiv (Cornell University)|Nov 10, 2021

Human Pose and Action Recognition参考文献 39被引用数 4

ひとこと要約

LUMINOUS は、挑戦定義形式（CDF）に基づく制約付き確率的シーン生成（CSSG）を用いて、高品質で多様なインテリアシーンをスケーラブルに生成するフレームワークであり、エムボディッドAI（EAI）のための大規模なトレーニングおよび評価を可能にする。このフレームワークは人間が設計したシーンと同等の性能を達成し、最先端のEAIモデルが限られた現実世界のレイアウトに過学習していることが明らかになり、より広範な一般化ベンチマークの必要性が示された。

ABSTRACT

Learning-based methods for training embodied agents typically require a large number of high-quality scenes that contain realistic layouts and support meaningful interactions. However, current simulators for Embodied AI (EAI) challenges only provide simulated indoor scenes with a limited number of layouts. This paper presents Luminous, the first research framework that employs state-of-the-art indoor scene synthesis algorithms to generate large-scale simulated scenes for Embodied AI challenges. Further, we automatically and quantitatively evaluate the quality of generated indoor scenes via their ability to support complex household tasks. Luminous incorporates a novel scene generation algorithm (Constrained Stochastic Scene Generation (CSSG)), which achieves competitive performance with human-designed scenes. Within Luminous, the EAI task executor, task instruction generation module, and video rendering toolkit can collectively generate a massive multimodal dataset of new scenes for the training and evaluation of Embodied AI agents. Extensive experimental results demonstrate the effectiveness of the data generated by Luminous, enabling the comprehensive assessment of embodied agents on generalization and robustness.

研究の動機と目的

• 既存のシミュレータにおける限定的で手作業で設計されたインテリアシーンの多様性の不足がEAI研究のボトルネックとなっているのを是正すること。
• 人間の一般的な常識に合致した、自然で機能的かつタスクを支援するインテリアシーンを、スケーラブルで自動化されたフレームワークで生成すること。
• 大規模でマルチモーダルなトラジェクトリーデータを用いて、エムボディッドエージェントの一般化および耐性の包括的評価を可能にすること。
• EAIタスクの文脈においてシーンの品質を定量的に測る新しい評価指標「プランナーを介したタスク成功確率」を導入すること。
• 現在の最先端EAIモデルが、ALFREDのような既存のベンチマークに含まれる限られたレイアウトに過学習している可能性を実証すること。

提案手法

• 挑戦定義形式（CDF）で定義されたタスク固有の空間的制約を満たしながら、多様で機能的なインテリアシーンを生成する新規アルゴリズム「制約付き確率的シーン生成（CSSG）」を導入する。
• 生成されたシーンでEAIタスクを完了するための低レベル行動シーケンスを自動で計画するタスクエクセキュータを採用する。
• 視覚・言語ベンチマークを可能にするために、トラジェクトリーデータに自然言語の指示をアノテーションするタスク指示生成モジュールを活用する。
• エゴセントリックな画像フレームを生成するためのビデオレンダリングツールキットを統合し、マルチモーダルエージェントのトレーニングおよび評価を可能にする。
• プランナーに基づくタスク成功確率を、生成されたシーンの品質を自動で定量的に評価する指標として活用する。
• 最先端の学習ベースのシーン生成モデルとの互換性をサポートし、EAI分野におけるそれらのモデルの有用性を拡張する。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのシーン生成フレームワークは、EAIタスクにおいて人間が設計したシーンと同等に機能的で自然なインテリアシーンを生成できるか？
• RQ2 現在の最先端EAIモデルは、元のトレーニング分布を超えて、未知のランダム化されたシーンレイアウトにどの程度一般化できるか？
• RQ3 シミュレートされたEAI環境におけるタスク成功確率は、生成されたインテリアシーンの品質を評価する信頼性のある自動指標として機能するか？
• RQ4 シーンおよびタスクの多様性を高めることで、エムボディッドエージェントの一般化性能はどのように変化するか？
• RQ5 LUMINOUSのような統合フレームワークは、EAIにおけるトレーニングおよび評価のためのスケーラブルで自動化されたマルチモーダルトラジェクトリーデータの生成を可能にするか？

主な発見

• LUMINOUS は、Unseen Plus（U+）設定で16の新しいインテリアシーンと435のトラジェクトリを生成し、Seen Plus（S+）設定では1405のトラジェクトリを生成した。これはALFREDの未見セットを一桁以上上回る。
• MOCA、ET、HiTUTの成功率は、ALFREDの「見ることのできる」および「未見の」スプリットとは対照的に、LUMINOUSが生成したシーンで顕著に低下しており、新しいレイアウトへの一般化が不十分であることが示された。
• HiTUT は全設定で最高の成功率を示し、次にET、その後にMOCAと続き、ベンチマーク間で一貫した相対的性能を示した。
• SからU+への成績低下（平均成功率が18.6%から2.1%に低下）は、ALFREDの元の評価がレイアウト多様性が限られているため、真の一般化テストを提供していない可能性を示している。
• ピックタスクでは、LUMINOUS が物体を受容容器の縁に配置することでピック可能성이向上し、タスクの難易度が低下したため、成功率が高くなった（U+で最大42.9%）。
• 本研究では、MOCA や HiTUT などの最先端モデルが、AI2THORの特定のレイアウトに過学習していることが実証され、LUMINOUSのランダム化され未見のレイアウトでは性能が著しく低下した。