[論文レビュー] Acquiring Grounded Representations of Words with Situated Interactive Instruction

Shiwali Mohan, Aaron Mininger+2 more|ArXiv.org|Feb 28, 2025

Multimodal Machine Learning Applications参考文献 16被引用数 39

ひとこと要約

本論文は、Soar上の situated instruction による語のグラウンディングを実現する混成イニシアティブ対話フレームワークを導入し、卓上ロボットアームで実証、迅速なオンライン・インクリメンタル学習を示す。

ABSTRACT

We present an approach for acquiring grounded representations of words from mixed-initiative, situated interactions with a human instructor. The work focuses on the acquisition of diverse types of knowledge including perceptual, semantic, and procedural knowledge along with learning grounded meanings. Interactive learning allows the agent to control its learning by requesting instructions about unknown concepts, making learning efficient. Our approach has been instantiated in Soar and has been evaluated on a table-top robotic arm capable of manipulating small objects.

研究の動機と目的

• 認知エージェントが知覚・意味・手続き知識から grounded word 表現を対話的指導を通じて獲得できることを示す。
• 学習が漸進的で、オンラインかつ迅速で、最小限の例で行えることを示す。
• 柔軟で効率的な言語グラウンディングのための混成イニシアティブ対話の有効性を評価する。
• 名詞/形容詞、空間的前置詞、および動詞が知覚と行動の中でどのように学習・グラウンディングされるかを探る。

提案手法

• Soar 認知アーキテクチャに grounded language learning エージェントを実体化する。
• テーブル上の物体と相互作用するために、ビジョンシステム（Kinect）とロボットアームを使用する。perceptual-symbol mappings を、指導者提供の例から学習することで語をグラウンドする。
• インストラクター・インターフェースと混成イニシアティブ対話モデルを用いて、行き詰まりと会話を通じて学習を推進する。
• 言語記号を知覚・空間・行動概念へ結ぶ意味記憶マップでグラウンディングを表現する。

実験結果

リサーチクエスチョン

• RQ1 混成イニシアティブと場に応じた指導は、ロボットエージェントにおける名詞・形容詞・前置詞・動詞のグラウンディングをどう可能にするか？
• RQ2 対話的学習中にグラウンディングへ寄与する知識源（知覚、意味、アクションモデル、エピソード記憶）はどれか？
• RQ3 学習はオンライン、漸進的、迅速で、 grounded word 表現を得るのに少数の例を必要とするか？

主な発見

• エージェントは、言語用語を、相互作用を通じて学習した知覚記号、空間的素子、行動-概念ネットワークと結びつけることで語をグラウンドする。
• 学習は漸進的である。新しい語は追加語の学習を促進し、名詞/形容詞はより豊かな口語的構造の前提となる。
• 本システムはオンライン学習をサポートし、応答は2秒未満で、少数の例で迅速な獲得を実証する。
• 混成イニシアティブ対話により、指導者は有益な例に焦点を合わせ、エージェントは欠落知識を獲得する学習の衝動を自発的に開始できる。