[論文レビュー] Grounding Spatio-Semantic Referring Expressions for Human-Robot Interaction

Mohit Shridhar, David Hsu|arXiv (Cornell University)|Jul 18, 2017

Multimodal Machine Learning Applications参考文献 38被引用数 16

ひとこと要約

本論文では、人間-ロボットインタラクションにおける制約のない空間的・意味的参照表現のグランドトゥングを実現する2段階のニューラルネットワークパイプラインを提案する。事前学習済みの画像キャプションモデルを用いて、まず意味的に関連するオブジェクトを特定し、その後で空間的関係に基づいて正しいオブジェクトを選択する。本システムはRefCOCOベンチマークで最先端の性能を達成し、自然言語による指示に基づく未確認のオブジェクトのピックアンドプレースを音声コマンドで実現可能である。

ABSTRACT

The human language is one of the most natural interfaces for humans to interact with robots. This paper presents a robot system that retrieves everyday objects with unconstrained natural language descriptions. A core issue for the system is semantic and spatial grounding, which is to infer objects and their spatial relationships from images and natural language expressions. We introduce a two-stage neural-network grounding pipeline that maps natural language referring expressions directly to objects in the images. The first stage uses visual descriptions in the referring expressions to generate a candidate set of relevant objects. The second stage examines all pairwise relationships between the candidates and predicts the most likely referred object according to the spatial descriptions in the referring expressions. A key feature of our system is that by leveraging a large dataset of images labeled with text descriptions, it allows unrestricted object types and natural language referring expressions. Preliminary results indicate that our system outperforms a near state-of-the-art object comprehension system on standard benchmark datasets. We also present a robot system that follows voice commands to pick and place previously unseen objects.

研究の動機と目的

• 未構造化環境におけるオブジェクトの制約のない自然言語記述を理解し、それに応じて行動できるロボットの実現を目的とする。
• 事前に定義されたオブジェクトカテゴリーや空間的テンプレートに依存せずに、参照表現における意味的および空間的属性のグランドトゥングに挑戦することを目的とする。
• 画像およびテキストデータのみを用いて、訓練中に見られなかった新しいオブジェクトや空間的配置にも一般化できるシステムの開発を目的とする。
• 現実世界の人間-ロボットインタラクションのシナリオにおいて、音声コマンドを用いたエンドツーエンドのオブジェクト検索と操作の実証を目的とする。

提案手法

• システムは、画像から視覚的記述を生成するための事前学習済み画像キャプションモデルを用い、参照表現内の意味的コンテンツに基づいて候補オブジェクト領域を特定する。
• 2番目のキャプションモデルは、空間的記述（例：「左にあるボトル」）のファインチューニングを経て、候補オブジェクト間の空間的関係を予測する。
• CNNからの視覚特徴とLSTMからの言語特徴を組み合わせ、画像およびテキスト入力を共通の埋め込み空間にマップする。
• 空間的グランドトゥングは、学習された類似度関数を用いてすべての候補オブジェクトペアをランク付けし、空間的記述と最も一致するペアを選択することで達成する。
• 最終出力は、上位ランクのペアから導出される、最も可能性の高い参照オブジェクトの2次元バウンディングボックスである。
• システムは6自由度のMICOロボットアームにデプロイされ、音声からテキストへの変換とシンプルなグリッププランナーを用いてピックアンドプレースタスクを実行する。

実験結果

リサーチクエスチョン

• RQ1 事前定義されたオブジェクトクラスが存在しない、完全に画像ベースでエンドツーエンドのニューラルパイプラインが、自由形式でオープンボキャブラリーの参照表現をグランドトゥングできるか？
• RQ2 2段階のキャプションモデルアーキテクチャが、既存の手法と比較して空間的・意味的表現のグランドトゥングにおいてどの程度の性能を示すか？
• RQ3 訓練時に見られなかった新しいオブジェクトや空間的配置に対しても、システムは一般化できるか？
• RQ4 自然で制約のない言語を用いた現実世界の人間-ロボットインタラクションにおいて、本システムの有効性はどの程度か？

主な発見

• 提案手法は、RefCOCOの空間的・意味的グランドトゥングベンチマークにおいて、最先端のUMD RefExpモデルを上回る性能を示した。
• 事前学習済みキャプションモデルからの視覚的および意味的事前知識を組み合わせることで、例えば「オранジービーカー」のような未確認のオブジェクトを効果的に特定・回収できた。
• 10～20個のオブジェクトが存在する散らかりの少ないシーンでは、音声からアクション実行までの平均エンドツーエンド遅延が2～5秒であった。
• 非公式なユーザースタディにおいて高いユーザ満足度が得られ、ユーザーはシンプルで自然な言語でオブジェクトの意図を信頼性高く伝えることができた。
• 参照表現に4種類未満のオブジェクトタイプと1つまたは0つの空間的関係が含まれている場合、グランドトゥングパイプラインの精度が最も高かった。
• 複雑なネストされた空間的関係（例：「Xの右にあるが、Yの左にある」）では失敗が発生し、多段階の空間的推論をモデル化する能力の制限が示された。