[論文レビュー] Interactive Visual Grounding of Referring Expressions for Human-Robot Interaction

M.H Shridhar, David Hsu|ArXiv.org|Jun 11, 2018

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

INGRESS は、人間-ロボットインタラクションにおける自然言語参照表現のインタラクティブな視覚的グランドイングを実現するニューラルネットワークベースのシステムである。2段階のアプローチを採用しており、まず視覚的記述を生成して候補対象を特定し、次に対比較関係を分析して曖昧性を解消する。RefCOCOで最先端の性能を達成し、実験では人間-ロボットインタラクションの質も優れている。

ABSTRACT

This paper presents INGRESS, a robot system that follows human natural language instructions to pick and place everyday objects. The core issue here is the grounding of referring expressions: infer objects and their relationships from input images and language expressions. INGRESS allows for unconstrained object categories and unconstrained language expressions. Further, it asks questions to disambiguate referring expressions interactively. To achieve these, we take the approach of grounding by generation and propose a two-stage neural network model for grounding. The first stage uses a neural network to generate visual descriptions of objects, compares them with the input language expression, and identifies a set of candidate objects. The second stage uses another neural network to examine all pairwise relations between the candidates and infers the most likely referred object. The same neural networks are used for both grounding and question generation for disambiguation. Experiments show that INGRESS outperformed a state-of-the-art method on the RefCOCO dataset and in robot experiments with humans.

研究の動機と目的

• 実世界の環境において、制約のない自然言語指示を理解できるロボットの実現。
• 人間-ロボットインタラクション中に質問を提示することで、参照表現の曖昧性を解消すること。
• 事前定義されたテンプレートが不要なオープンボキャブラリーの物体カテゴリと自由形式の言語表現をサポートすること。
• 言語生成と曖昧性解消を通じて、グランドイングの正確性と人間-ロボットコミュニケーションの質を向上させること。
• 多様で未知の物体や複雑な空間的関係を含む、散らかっていないシーンにおいて一般化可能なシステムの開発。

提案手法

• RGB-D画像からオブジェクト候補を生成するため、Faster R-CNNに基づくローカライゼーションモジュールを用いる。
• 2段階のニューラルネットワークを適用：第1段階ではLSTMを用いて画像領域から言語表現を生成し、入力された参照表現と照合することで候補オブジェクトを特定する。
• 第2段階では、別のLSTMを用いて候補オブジェクト間の関係記述を生成し、入力された関係表現と比較することで参照対象を同定する。
• 曖昧性が生じた際に、同じニューラルネットワークをグランドイングと曖昧性解消の質問生成に併用する。
• Kinova Mico ロボットに音声入力とRGB-Dセンシングを統合し、実世界への展開を実現する。
• キーワードマッチングとパースペクティブに配慮した言語モデリングを用いて、ユーザー中心の視点（例：「私の左側に」）を処理する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークシステムは、オープンボキャブラリーかつ実世界の環境において、制約のない参照表現を効果的にグランドイングできるか？
• RQ2 ロボットは、インタラクティブな質問生成によって、自然言語指示の曖昧性を動的に解消できるか？
• RQ3 生成によるグランドイングは、従来の分類ベースの手法と比較して、正確性と人間-ロボットコミュニケーションの質をどの程度向上させるか？
• RQ4 同じニューラルコンポONENTをグランドイングと曖昧性解消の両方のタスクに使用でき、統合されたアーキテクチャを実現できるか？
• RQ5 ユーザーは、インタラクティブなグランドイングシナリオにおけるロボットが生成する質問に対して、どのように感じて反応するか？

主な発見

• INGRESS は、RefCOCO テストデータセットにおいて最先端の手法 UMD Refexp を上回り、優れたグランドイング正確性を示した。
• 人間-ロボット実験において、効果的な曖昧性解消コミュニケーションの評価で、平均4.4点（5段階リッカートスケール）を記録し、ベースラインの1.6点（p < 0.001）を著しく上回った。
• 約79％のユーザーの反応がロボットの言語スタイルを模倣しており、人間とロボットの間で言語的適応が生じていることを示している。
• 曖昧な状況の80％において、ロボットは明確で判別力のある質問を生成したが、失敗の主な原因は遮蔽や「3番目」や「全4つ」のような複雑な関係であった。
• ロボットの指差しジェスチャーは、質問だけでは十分に判別できない状況での更解に顕著に寄与した。
• 参加者は頻繁に自分の言語をロボットの表現に合わせて調整しており、ロボットの言語的スタイルが人間のコミュニケーション様式に影響を与えていることが示唆された。