[論文レビュー] Knowledge Representation for Robots through Human-Robot Interaction

Emanuele Bastianelli, Domenico D. Bloisi+4 more|arXiv (Cornell University)|Jul 28, 2013

Multimodal Machine Learning Applications参考文献 23被引用数 8

ひとこと要約

本稿では、ユーザーが提供する言語的およびジェスチャ的キューを用いてメトリックマップにアノテーションを施すことで、ロボットが豊かで知識豊富な表現を構築できるマルチモーダル人間-ロボットインタラクションフレームワークを提案する。複雑な参照表現の意味的根拠付けとトポロジカルナビゲーション計画の実現により、本システムは、現実世界の環境において自然言語コマンドの理解と実行におけるロボットの自律性を顕著に向上させる。

ABSTRACT

The representation of the knowledge needed by a robot to perform complex tasks is restricted by the limitations of perception. One possible way of overcoming this situation and designing "knowledgeable" robots is to rely on the interaction with the user. We propose a multi-modal interaction framework that allows to effectively acquire knowledge about the environment where the robot operates. In particular, in this paper we present a rich representation framework that can be automatically built from the metric map annotated with the indications provided by the user. Such a representation, allows then the robot to ground complex referential expressions for motion commands and to devise topological navigation plans to achieve the target locations.

研究の動機と目的

• 複雑な環境における知覚的制約に起因するロボットの知識表現の限界を解消すること。
• 人間が提供するアノテーションを統合することで、記号的推論とセンサーベースの知覚の間のギャップを埋めること。
• 接地された参照表現を通じて、自然言語の運動コマンドを解釈・実行できるロボットの実現。
• マルチモーダル人間入力を用いてメトリックマップを意味的に豊かにした表現に変換するスケーラブルなフレームワークの開発。
• 人間のインタラクションから得られる空間的関係をエンコードすることで、トポロジカルナビゲーション計画を支援すること。

提案手法

• 標準的なロボティクス知覚技術を用いて環境のメトリックマップを構築する。
• 言語的記述とジェスチャを含むマルチモーダル人間入力を統合し、特定の場所や空間的関係をアノテーションする。
• ハイブリッド空間推論モデルを用いて、アノテートされたメトリックマップから自動的に記号的知識表現を生成する。
• 形式的オントロジーに基づくフレームワークを用いて、空間関係（例：「～の後ろに」、「～の隣に」）とオブジェクトの役割をエンコードする。
• 「ソファーの後ろの本棚へ行く」などの複雑な参照表現の意味的根拠付けを、トポロジカルサブマップへのマッピングによって実現する。
• 走行可能な領域とその関係をグラフベースの表現として構築することで、トポロジカルナビゲーション計画を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ロボットは、現実世界の環境において人間-ロボットインタラクションを通じて、どのように意味的な空間的知識を効果的に学ぶことができるか？
• RQ2 マルチモーダル入力を用いて、自然言語の運動コマンドを堅牢に根拠付けするための表現モデルは何か？
• RQ3 メトリックマップは、高レベルの推論とナビゲーションを支援するために、どのように記号的知識で豊かにできるか？
• RQ4 人間がアノテートした空間的記述から、トポロジカルナビゲーション計画をどれほど自動的に導出できるか？
• RQ5 マルチモーダルインタラクションは、ロボットのコマンド理解の正確性と頑健性にどのような影響を与えるか？

主な発見

• 本システムは、アノテートされたメトリックマップを用いて、自然言語コマンドを環境内の特定の場所にマッピングすることに成功した。
• 言語的およびジェスチャ的キューの統合により、「机の後ろの本棚」のような複雑な参照表現の正確な根拠付けが可能になった。
• 得られた記号的表現は、アノテートされた場所間の実行可能な経路を計算できるトポロジカルナビゲーション計画をサポートした。
• 純粋に知覚ベースのモデルと比較して、本フレームワークはロボットの知識表現の解釈可能性とスケーラビリティが向上していることを示した。
• 人間がアノテートした空間的意味を活用することで、ロボットは即時のセンサデータを超えて一般化できるようになった。
• 評価結果から、最小限の人的監視で、本システムは実世界の屋内環境において信頼性の高いコマンド実行を達成していることが示された。