[論文レビュー] Embodied Concept Learner: Self-supervised Learning of Concepts and Mapping through Instruction Following

Mingyu Ding, Yan Xu+5 more|arXiv (Cornell University)|Apr 7, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文は、インタラクションと模倣を通じて、ロボットエージェントが3次元環境で視覚的コンセプトを学習し、意味的マップを構築し、言語ベースのタスクを遂行できるモジュラーで自己教師ありフレームワーク、Embodied Concept Learner (ECL) を提案する。事前学習済みのオブジェクトプロポーザルネットワークを用いて言語記述を視覚的インスタンスに埋め込み、動きパララックスを介した自己教師あり深度推定により深度を学習することで、ECL はセマンティックラベルを一切必要とせず、ALFREDベンチマークで優れた性能を達成する。同時に、学習済みコンセプトの解釈可能性と再利用可能性を維持する。

ABSTRACT

Humans, even at a very early age, can learn visual concepts and understand geometry and layout through active interaction with the environment, and generalize their compositions to complete tasks described by natural languages in novel scenes. To mimic such capability, we propose Embodied Concept Learner (ECL) in an interactive 3D environment. Specifically, a robot agent can ground visual concepts, build semantic maps and plan actions to complete tasks by learning purely from human demonstrations and language instructions, without access to ground-truth semantic and depth supervisions from simulations. ECL consists of: (i) an instruction parser that translates the natural languages into executable programs; (ii) an embodied concept learner that grounds visual concepts based on language descriptions; (iii) a map constructor that estimates depth and constructs semantic maps by leveraging the learned concepts; and (iv) a program executor with deterministic policies to execute each program. ECL has several appealing benefits thanks to its modularized design. Firstly, it enables the robotic agent to learn semantics and depth unsupervisedly acting like babies, e.g., ground concepts through active interaction and perceive depth by disparities when moving forward. Secondly, ECL is fully transparent and step-by-step interpretable in long-term planning. Thirdly, ECL could be beneficial for the embodied instruction following (EIF), outperforming previous works on the ALFRED benchmark when the semantic label is not provided. Also, the learned concept can be reused for other downstream tasks, such as reasoning of object states. Project page: http://ecl.csail.mit.edu/

研究の動機と目的

• 環境とのインタラクションと模倣を通じて、深度や意味的ラベルの明示的教師なしで、乳児に似た自己教師あり学習を再現するロボット学習フレームワークの開発。
• エゴセントリックな視覚観測と自然言語指示のみを用いて、未確認の環境でもエンボディッドな指示に従うことを可能にする。
• 言語コンセプトを視覚的インスタンスに埋め込み、自己教師あり深度推定を介して意味的マップを構築することで、段階的で解釈可能な計画を構築する。
• オブジェクト状態推論などの下流タスクに、学習済みの視覚的コンセプトを再利用することで、モデルの再利用性を高める。
• ブラックボックスなエンドツーエンドモデルや教師ありマッピング手法の限界を克服し、モジュラーで解釈可能なコンポonentsにより透明性と一般化性能を向上させる。

提案手法

• 指示パーサーは自然言語のゴールを、『ピックアップ』や『上に置く』、『掃除する』などのサブゴールから成る実行可能なプログラムに変換する。
• エンボディッドコンセプトラーナーは、事前学習済みのオブジェクト検出ネットワークと単語埋め込みを用いて、言語埋め込みと視覚的オブジェクトプロポーザルを一致させ、『包丁』や『テーブル』といったコンセプトのゼロショット埋め込みを可能にする。
• マップコンストラクターは、エージェントの移動に伴う動きパララックスを用いた自己教師あり単眼深度推定により深度を推定し、埋め込み済みのコンセプトと深度推定値を統合して意味的マップを構築する。
• プログラムエグゼキューターは、ファストマーチング法に基づく決定的ポリシーを用いて、意味的マップから導出されたゴールに向けて行動を計画・実行し、解釈可能性を保証する。
• システムはモジュラーなパイプラインとして動作する：指示パース → コンセプトの埋め込み → マップ構築 → 動作実行。これにより、段階的で透明なプロセスが実現される。
• すべてのコンポーネントは、事前ラベルなしのヒューマンデモと言語指示からエンドツーエンドで学習され、セマンティックラベルや深度の教師付きデータは不要である。

実験結果

リサーチクエスチョン

• RQ1 ロボットエージェントは、明示的教師なしで、環境との自己教師ありインタラクションを通じて視覚的コンセプトと3次元シーンのジオメトリを学習できるか？
• RQ2 未確認の環境における長時間スケールのタスク計画において、自然言語指示を実行可能で解釈可能なサブゴールにパースする方法は何か？
• RQ3 動きパララックスを用いた自己教師あり深度推定は、深度センサーの欠如下でも、正確な意味的マッピングとナビゲーションを可能にするか？
• RQ4 学習済みの視覚的コンセプトは、オブジェクト状態推論などの下流タスクにどの程度再利用可能か？
• RQ5 ECL のモジュラーで解釈可能な設計は、ブラックボックスなエンドツーエンドモデルと比較して、一般化性能とロバストネスをどの程度向上させるか？

主な発見

• ECL はセマンティックラベルを一切必要とせず、ALFREDベンチマークで競争力ある性能を達成し、未確認環境へのゼロショット一般化において先行手法を上回る。
• モデルは強力なゼロショットコンセプト埋め込みを示しており、オブジェクトごとの埋め込み評価で、大きなオブジェクトでは平均85.7%、小さなオブジェクトでは72.1%の精度を達成した。
• オラクルバージョンでは、未確認のテスト環境で23.6%の成功率を達成しており、主な課題はシミュレーションから現実への転送（sim-to-real）にあることが示唆された。
• 学習済みのコンセプトは再利用可能である。たとえば、トマトが綺麗かどうかを判断するようなオブジェクト状態推論のタスクにも応用可能である。
• 動きパララックスを用いた自己教師あり深度推定により、正確な意味的マップ構築が可能であり、エージェントの移動と視差解析を通じて深度推定精度が向上する。
• ファストマーチング法に基づく決定的ポリシーにより、透明で解釈可能な経路計画が保証され、ゴールは意味的マップとコンセプト埋め込みから直接導出される。