[論文レビュー] A Persistent Spatial Semantic Representation for High-level Natural Language Instruction Execution

Valts Blukis, Chris Paxton+3 more|arXiv (Cornell University)|Jul 12, 2021

Topic Modeling被引用数 30

ひとこと要約

この論文は、持続的な空間意味表現と階層型言語条件モデル（HLSM）を導入し、高レベルの自然言語タスクをモバイル操作アクションへマッピングし、低レベルの指示を使用せずにALFREDで最先端の成果を達成する。

ABSTRACT

Natural language provides an accessible and expressive interface to specify\nlong-term tasks for robotic agents. However, non-experts are likely to specify\nsuch tasks with high-level instructions, which abstract over specific robot\nactions through several layers of abstraction. We propose that key to bridging\nthis gap between language and robot actions over long execution horizons are\npersistent representations. We propose a persistent spatial semantic\nrepresentation method, and show how it enables building an agent that performs\nhierarchical reasoning to effectively execute long-term tasks. We evaluate our\napproach on the ALFRED benchmark and achieve state-of-the-art results, despite\ncompletely avoiding the commonly used step-by-step instructions.\n

研究の動機と目的

• 家庭環境における高レベルの自然言語指示と長期的な操作行動のギャップを埋める。
• 長期的なタスクを跨いだナビゲーションと物体推論を可能にする持続的な空間表現を開発する。
• 長期計画と近接アクション生成のためにこの表現を用いる階層モデル（HLSM）を提案する。

提案手法

• 持続的な空間意味表現を導入する：時間を越えて世界状態を保持する観測性とインベントリ成分を備えた3D意味ボクセルマップ。
• 階層型言語条件付き空間モデル（HLSM）を定義し、高レベルコントローラがサブゴールを予測し、低レベルコントローラがサブゴールを達成するためのアクション列を実行する。
• RGB深度とセグメンテーションから空間表現を継続的に更新する観察モデルを用い、新しい観察を統合しつつ未観測領域を保持する。
• 高レベルコントローラ(pi^H)は言語と過去のサブゴールをエンコードしてサブゴールタイプと引数をサンプリングし、状態表現に導かれる。
• 低レベルコントローラ(pi^L)は探索、ナビゲーション、操作を通じてサブゴールを追従し、学習済みおよび規則ベースの成分を用いる。
• ALFREDから導出された言語デモンストレーションデータセットに対して、感知ネットワーク（セグメンテーション、深度）とpi^H, pi^Lモジュールを教師あり学習で訓練し、知覚、サブゴール予測、ナビゲーションの別々のデータセットを使用する。

実験結果

リサーチクエスチョン

• RQ1 持続的な空間意味表現は高レベルの自然言語指示の長期的な実行をどのように支援できるか？
• RQ2 この表現を活用する階層モデルは、低レベルの手順指示なしでALFREDで最先端の結果を達成できるか？
• RQ3 未知環境での一般化における主なボトルネック（知覚、探索、計画）は何か、提案されたフレームワークはそれらをどう緩和するか？

主な発見

• 高レベルの指示のみを使用してALFREDで最先端の性能を達成し、詳細な段階的ガイダンスを用いる方法を上回る。
• 知覚の質は一般化に大きく影響する。真Depthとセグメンテーションを用いたグラウンドトゥルースが顕著な利益をもたらす。特に未知環境で大きな改善をもたらす。
• 持続的な空間意味表現は効果的な長期計画とサブゴールのグラウンディングを可能にし、継続的な観測対象への依存を減らす。
• 高レベルのサブゴールプランナーと低レベルのアクション実行エンジンを持つ階層的アプローチは、持続的なマップを前提に、タスクを横断した堅牢な探索と操作を可能にする。
• アブレーションは、言語エンコードと状態グラウンディングがサブゴール予測にとって重要である一方、未知の状況で探索は控えめな寄与をすることを示している。