[論文レビュー] Extensible Grounding of Speech for Robot Instruction

Jonathan H. Connell|arXiv (Cornell University)|Jul 31, 2018

Multimodal Machine Learning Applications参考文献 13被引用数 8

ひとこと要約

本論文は、ロボットシステムにおける話言語の意味付けを可能にする拡張可能なフレームワークを提示している。このフレームワークにより、人間の指示を通じてロボットは新しい物の名前や動作を学習できる。知覚的・運動的・言語的意味付けを統合し、「教えられることで学ぶ」メカニズムを用いることで、事前プログラミングなしに語彙と能力を動的に拡張可能であり、卓上環境における名詞および動詞の意味付けの成功を示している。

ABSTRACT

Spoken language is a convenient interface for commanding a mobile robot. Yet for this to work a number of base terms must be grounded in perceptual and motor skills. We detail the language processing used on our robot ELI and explain how this grounding is performed, how it interacts with user gestures, and how it handles phenomena such as anaphora. More importantly, however, there are certain concepts which the robot cannot be preprogrammed with, such as the names of various objects in a household or the nature of specific tasks it may be requested to perform. In these cases it is vital that there exist a method for extending the grounding, essentially "learning by being told". We describe how this was successfully implemented for learning new nouns and verbs in a tabletop setting. Creating this language learning kernel may be the last explicit programming the robot ever needs - the core mechanism could eventually be used for imparting a vast amount of knowledge, much as a child learns from its parents and teachers.

研究の動機と目的

• 現実世界の環境で、意味付けされた知覚的・運動的スキルを用いてロボットが話言語の命令を解釈できるようにすること。
• ロボットの指示における未知または未プログラミング済みの概念（例：新しい物体やタスク）の課題に対処すること。
• 「教えられることで学ぶ」メカニズムの開発—人間が提供する例を通じてロボットが言語的意味付けを拡張できること。
• 音声、ジェスチャー、代名詞解決を統合した一貫性のある言語理解システムの構築。
• 明示的なプログラミングの必要性を最小限に抑える自己拡張型の知識キーネルの作成。

提案手法

• ロボットは、音声、ジェスチャー、環境認識を統合したマルチモーダルインターフェースを用い、リアルタイムで言語用語を意味づける。
• 基本用語（例：'持ってくる'、'移動させる'）は、知覚的および運動的行動への事前のマッピングにより事前に意味づけられる。
• 新しい概念の場合は、システムが人間が提供するデモとラベルを記録し、それらを用いて新しい意味的・物理的関連性を構築する。
• 代名詞解決は、発話の間を跨いで参照対象を追跡する文脈に配慮したディコースモデルを維持することで処理される。
• 学習キーネルは、新しい名詞および動詞のマッピングを構造化された知識ベースに保存することで、ロボットの語彙を動的に拡張する。
• 解釈可能性と適応性の両立を図るため、ハイブリッド記号的・接続主義的アーキテクチャを採用している。

実験結果

リサーチクエスチョン

• RQ1 人間の指示を通じて、ロボットがどのように動的に新しい名詞および動詞の理解を拡張できるか？
• RQ2 事前プログラミングなしに、知覚的・運動的空間における音声の意味付けをどのように強く保証できるか？
• RQ3 ジェスチャーと文脈的手がかりを統合することで、ロボットの指示における言語理解をどのように向上させられるか？
• RQ4 マルチターン対話中に、代名詞解決はどのようにして参照の一貫性を維持するか？
• RQ5 1つの学習メカニズムが、スケーラブルで、生涯にわたる言語および行動知識の習得をサポートできるか？

主な発見

• ロボットは卓上環境において、直接的人間の指示を通じて新しい物の名前と動作動詞を成功裏に学習した。
• ジェスチャーと口頭ラベルを含む最小限の人間入力で、システムは新しい用語の意味付けを強く実現した。
• 会話の間を跨いで参照対象の一貫性を維持する点で、代名詞解決が効果的に機能した。
• 「教えられることで学ぶ」メカニズムにより、再プログラミングを必要とせずに語彙を拡張できた。
• 拡張可能な意味付けフレームワークは、人間の言語学習に類似した長期的かつ段階的な知識習得を支援した。
• このアプローチは、初期トレーニングセットに存在しなかった新しい物体やタスクに対してもスケーラブルかつ一般化可能であることが実証された。