[論文レビュー] Interactively Picking Real-World Objects with Unconstrained Spoken Language Instructions

Jun Hatori, Yuta Kikuchi+6 more|arXiv (Cornell University)|Oct 17, 2017

Multimodal Machine Learning Applications参考文献 23被引用数 13

ひとこと要約

本論文は、現実世界の環境において制約のない口語的指示を解釈するための、エンド・ツー・エンドのロボットシステムを初めて提示する。深層学習に基づく物体検出と自然言語理解を対話による曖昧性解消と統合することで、人間とロボットの対話によって曖昧な指示を動的に明確化する。物理的なロボットアームを用いて、30%の未知の物体が含まれる状況でも、73.1%のエンド・ツー・エンドの成功率を達成した。

ABSTRACT

Comprehension of spoken natural language is an essential component for robots to communicate with human effectively. However, handling unconstrained spoken instructions is challenging due to (1) complex structures including a wide variety of expressions used in spoken language and (2) inherent ambiguity in interpretation of human instructions. In this paper, we propose the first comprehensive system that can handle unconstrained spoken language and is able to effectively resolve ambiguity in spoken instructions. Specifically, we integrate deep-learning-based object detection together with natural language processing technologies to handle unconstrained spoken instructions, and propose a method for robots to resolve instruction ambiguity through dialogue. Through our experiments on both a simulated environment as well as a physical industrial robot arm, we demonstrate the ability of our system to understand natural instructions from human operators effectively, and how higher success rates of the object picking task can be achieved through an interactive clarification process.

研究の動機と目的

• ロボットが日常的な人間のコミュニケーションで使われる自然で制約のない口語的言語を理解し、それに従って行動できるようにすること。
• 特に多様な物体が存在するごちゃついた現実世界の環境において、人間の指示に内在する曖昧性に対処すること。
• 人間のようなコミュニケーションを模倣する対話による明確化を支援するシステムを開発することにより、物体参照の曖昧性を解消すること。
• 事前のクラスラベルや再訓練を必要とせずに、未知の物体へのロバストなゼロショット一般化を達成すること。
• 言語と物体の外観に高い多様性があるシミュレーテッドおよび現実世界の物理的ロボット環境において、システムの有効性を実証すること。

提案手法

• 最先端の深層学習モデルを用いて物体検出と参照表現理解を統合した包括的なパイプラインを構築する。
• 参照表現モデルを明示的な物体クラスラベルなしで動作可能に修正し、未知の物体のゼロショット認識を可能にする。
• ImageNetで事前学習されたCNN特徴量を用いて訓練されたビジョン・アンド・ランゲージモデルを採用し、多様な物体の外観に一般化可能にする。
• 複数の候補が存在する場合に、ロボットが能動的に明確化を求める対話ベースの明確化メカニズムを実装する。
• 言語的フィードバック（例：「どれですか？」）と視覚的フィードバック（例：候補を強調表示）を組み合わせ、対話中の人間の理解を支援する。
• 将来的に複数言語への拡張が可能となるように、言語に依存しない設計とし、共有知識の転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 定型的なテンプレートが事前に定義されていない状況でも、ロボットシステムは現実世界の環境において制約のない口語的言語指示を効果的に解釈できるか？
• RQ2 複数の物体が説明と一致する場合、対話による明確化は曖昧性の解消にどの程度効果的か？
• RQ3 微調整やクラスラベルなしで、ビジョン・アンド・ランゲージモデルが未知の物体にどの程度一般化できるか？
• RQ4 環境要因の変動（例：照明、色の認識）が、現実世界でのシステムのパフォーマンスに及ぼす影響は何か？
• RQ5 既知の物体と未知の物体が混在する状況において、物理的ロボットタスクでシステムが高い正確性と成功率を維持できるか？

主な発見

• 高視覚的・言語的多様性を持つ現実世界環境で、物理的ロボットアームを用いたターゲット物体選択において、75.3%のトップ-1精度を達成した。
• すべてのテストインスタンスにおいて、ピックアンドプレースタスクのエンド・ツー・エンド成功率は73.1%であった。検出に失敗したケースも含む。
• テストセットに30%の未知の物体が混在した状況でも、67.6%の成功率を維持し、強力な一般化能力を示した。
• 対話ベースの明確化メカニズムにより、非対話型ベースラインと比較して、ターゲット物体選択の誤差が39%削減された。
• 目的地のボックス選択において97.3%の精度を達成し、指示の空間的グランドイングの高信頼性を示した。
• 照明やカメラの違いによる色の認識のずれが、特に「オレンジ」や「赤」といった色の参照において主な誤り要因となった。