[論文レビュー] Learning Neuro-symbolic Programs for Language Guided Robot Manipulation

Namasivayam Kalithasan, Himanshu Singh+6 more|arXiv (Cornell University)|Nov 12, 2022

Multimodal Machine Learning Applications参考文献 33被引用数 4

ひとこと要約

本論文では、自然言語指示とシーン画像から、階層的パーサーとアクションシミュレータを用いて、部分的ゴールの監視なしにエンドツーエンド学習が可能な神経記号的フレームワークを提案する。モデルは視覚的および言語的入力の上での記号的推論を通じて、分離可能でオブジェクト中心の表現を学習し、未学習のシーンや長時間スケールのタスクにおいて最先端の一般化性能を達成する。

ABSTRACT

Given a natural language instruction and an input scene, our goal is to train a model to output a manipulation program that can be executed by the robot. Prior approaches for this task possess one of the following limitations: (i) rely on hand-coded symbols for concepts limiting generalization beyond those seen during training [1] (ii) infer action sequences from instructions but require dense sub-goal supervision [2] or (iii) lack semantics required for deeper object-centric reasoning inherent in interpreting complex instructions [3]. In contrast, our approach can handle linguistic as well as perceptual variations, end-to-end trainable and requires no intermediate supervision. The proposed model uses symbolic reasoning constructs that operate on a latent neural object-centric representation, allowing for deeper reasoning over the input scene. Central to our approach is a modular structure consisting of a hierarchical instruction parser and an action simulator to learn disentangled action representations. Our experiments on a simulated environment with a 7-DOF manipulator, consisting of instructions with varying number of steps and scenes with different number of objects, demonstrate that our model is robust to such variations and significantly outperforms baselines, particularly in the generalization settings. The code, dataset and experiment videos are available at https://nsrmp.github.io

研究の動機と目的

• 部分的ゴールの監視なしに、複雑で多段階の自然言語指示を実行可能なロボット操作プログラムにマッピングする課題に対処する。
• 手動でコーディングされた記号に依存する、密度の高い部分ゴールのアノテーションを必要とする、または空間的および関係的概念の深層的意味的推論を欠く従来手法の限界を克服する。
• より多くのオブジェクトを含む新しいシーンや、より長い指示シーケンスに対して、特に組み合わせ的ゼロショット設定においても頑健な一般化を実現する。
• 初期状態と最終状態の世界状態からのみの間接的監視を用いて、初期状態と最終状態のオブジェクト位置予測のバウンディングボックス損失を用いて、エンドツーエンドで訓練可能な、密度の高い分離可能な行動表現と空間的概念の表現を直接学習する。
• 神経的センシングと行動予測を統合した、モジュラーでエンドツーエンドで訓練可能なアーキテクチャを構築する。

提案手法

• 事前学習済みのオブジェクト検出器と特徴エンコーダーを備えた視覚的抽出器を用い、入力のシーン画像から密度の高いオブジェクト中心の表現を生成する。
• ドメイン固有の言語（DSL）を用いて空間的および行動的概念を扱う、階層的な言語推論器を実装し、自己回帰的に指示から記号的プログラムを構築する。
• 記号的および空間的推論を適用して、予測されたプログラムによって影響を受けるオブジェクトを特定する視覚的推論器を統合する。
• アクションシミュレータを採用し、記号的プログラムと視覚的状態に基づいて、移動されたオブジェクトの最終的な3次元位置を予測する。損失はアクションモジュールおよび視覚モジュールを介してバックプロパゲーションされる。
• 言語推論器をREINFORCEを用いた方策勾配最適化により訓練し、記号的プログラムのサンプリングを可能にすることで、微分可能な方策学習を実現する。
• 初期状態と最終状態の世界状態からのみの監視を用いて、エンドツーエンドでモデルを訓練する。予測されたオブジェクト位置のバウンディングボックス損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 神経記号的モデルは、部分的ゴールの監視なしに、複雑で多段階の自然言語指示を実行可能な操作プログラムにマッピングできるか？
• RQ2 訓練中に観測しなかったオブジェクト数の多いシーン、特に組み合わせ的ゼロショット設定において、モデルの一般化性能はどの程度か？
• RQ3 2ステップの計画のみで学習したモデルが、7ステップの長時間スケールの指示に対してもどの程度効果的に一般化できるか？
• RQ4 初期状態と最終状態のシーン状態からのみの学習で、分離可能で密度の高い行動表現をエンドツーエンドで学習できるか？
• RQ5 オブジェクト中心の表現に対する記号的推論は、言語誘導型操作における頑健性と正確性を向上させるか？

主な発見

• 提案手法は、CLIPort や NMN+ といったニューラルベースラインと比較して、配置および識別精度の両面で顕著に優れており、特に最大10個のオブジェクトを含むシーンにおけるゼロショット一般化性能で顕著な優位性を示す。
• 5個以上のオブジェクトを含むシーンでは、一部の設定で90％を超える高い精度を維持しており、オブジェクト中心の表現とモジュラー推論のおかげで、強力な組み合わせ的一般化性能を示している。
• モデルは長時間スケールのタスクに対しても効果的に一般化する——2ステップの計画でのみ学習したモデルが、7ステップの指示に対しても高い精度を達成している——これは、スケーラビリティと構造的推論能力の優位性を示している。
• アクションシミュレータは、オブジェクト再構築のための構造的類似度指数（SSIM）が0.935に達しており、行動後のオブジェクト状態を高い忠実度で予測していることを示している。
• 関係的指示（例：「赤いキューブの右に緑のダイスの後ろにブロックを置け」）に対しても、意味的推論が制限されたベースラインとは異なり、本モデルは頑健に性能を発揮する。
• 5倍のデータで学習したCLIPort-5xですら、本手法に劣っている。これは、神経記号的で分離可能なアーキテクチャが、純粋なニューラルアプローチに比べて顕著な利点を有することを確認している。