[論文レビュー] Sensorimotor Input as a Language Generalisation Tool: A Neurorobotics Model for Generation and Generalisation of Noun-Verb Combinations with Sensorimotor Inputs

Junpei Zhong, Martin Peniak+3 more|arXiv (Cornell University)|May 11, 2016

Social Robot Interaction and HRI参考文献 49被引用数 12

ひとこと要約

本論文は、人間型ロボットにおけるセンサモータリ・インタラクションを通じて、名詞・動詞の文の組み合わせを基礎づけ、一般化するためのニューロロボティクスモデルを提案する。実世界の物体操作タスクで訓練することで、モデルは動詞を運動行動と、名詞を物体と関連付けるよう学習し、体験に基づいた階層的かつ動的に組織化されたネットワーク表現を介して、未学習の組み合わせへの一般化を可能にする。

ABSTRACT

The paper presents a neurorobotics cognitive model to explain the understanding and generalisation of nouns and verbs combinations when a vocal command consisting of a verb-noun sentence is provided to a humanoid robot. This generalisation process is done via the grounding process: different objects are being interacted, and associated, with different motor behaviours, following a learning approach inspired by developmental language acquisition in infants. This cognitive model is based on Multiple Time-scale Recurrent Neural Networks (MTRNN).With the data obtained from object manipulation tasks with a humanoid robot platform, the robotic agent implemented with this model can ground the primitive embodied structure of verbs through training with verb-noun combination samples. Moreover, we show that a functional hierarchical architecture, based on MTRNN, is able to generalise and produce novel combinations of noun-verb sentences. Further analyses of the learned network dynamics and representations also demonstrate how the generalisation is possible via the exploitation of this functional hierarchical recurrent network.

研究の動機と目的

• 人間型ロボットがセンサモータリ・エクスペリエンスに基づいて、名詞・動詞の組み合わせを理解し、生成できるニューロロボティクス認知モデルを開発すること。
• 階層的再帰ネットワークが、ロボットの言語学習において、訓練されていない名詞・動詞の組み合わせをどのように一般化できるかを調査すること。
• 特に運動行動と物体操作を含む体験的相互作用が、言語的表象を形成する上で果たす役割を探索すること。
• MTRNNが、センサモータリ入力から機能的で自己組織化された階層的ダイナミクスを自己組織化し、言語の一般化を支援できることを示すこと。
• 9つの物体、9つの運動行動、6つの空間的位置を含む大規模な実世界のロボット相互作用データセットを用いて、モデルを検証すること。

提案手法

• 時間スケールが異なる速い・遅いコンテキスト層を備えた複数時間スケール再帰的ニューラルネットワーク（MTRNN）を採用し、センサモータリ・シーケンスの時間的ダイナミクスを符号化する。
• 訓練データは、人間型ロボットプラットフォームから得られた、ペアドされた音声命令（動詞＋名詞）、視覚的物体特徴、およびそれに対応する運動行動の軌道から構成される。
• 運動行動（自己認識フィードバック）と物体相互作用（視覚入力）の時間的相関を活用することで、動詞・名詞ペアの関連付けを学習する。
• 遅いコンテキスト層は、長期間にわたる運動的および物体的表象を捉え、時間的に安定した意味的意味を保つ『思考ベクトル』に類似した働きを果たす。
• 一般化は、MTRNNの階層的構造によって達成され、速い層が即時の行動シーケンスを符号化し、遅い層が動詞・物体関連の抽象的で安定した表象を符号化する。
• バックプロパゲーション・スル・タイムを用いて訓練し、深層RNNの計算要求を満たすためにGPUを活用する。

実験結果

リサーチクエスチョン

• RQ1 MTRNNを基盤とするニューロロボティクスモデルは、人間型ロボットにおけるセンサモータリ・インタラクションを通じて、名詞・動詞の組み合わせを基礎づけることができるか？
• RQ2 MTRNNの階層的構造は、訓練中に存在しなかった新しい名詞・動詞の組み合わせをどのように一般化するか？
• RQ3 特に自己認識フィードバックと視覚入力からなるセンサモータリ・ダイナミクスが、動詞および名詞の学習済み表象にどの程度影響を与えるか？
• RQ4 MTRNNの遅い・速いコンテキスト層は、言語一般化に寄与する機能的で自己組織化された表象をどのように形成するか？
• RQ5 モデルは、再訓練なしに9つの物体 × 9つの動作 × 6つの位置という大規模な新しい組み合わせのセットを一般化できるか？

主な発見

• MTRNNモデルは、人間型ロボットから得た実世界のセンサモータリ・データを用いて、安定的かつ解釈可能な内部表象を達成し、動詞・名詞の組み合わせを基礎づけることに成功した。
• モデルは、訓練データに存在しなかった9つの物体、9つの動作、6つの空間的位置を含む、新しい名詞・動詞の組み合わせに対しても、強固な一般化を示した。
• MTRNNの遅いコンテキスト層は、安定的で長期的な表象を形成し、運動行動と物体インスタンスの意味的プロファイルをエンコードする『思考ベクトル』として機能した。
• 神経ダイナミクス解析の結果、速い層と遅い層が、それぞれ異なる時間スケールを表すように自己組織化していることが判明した。速い層は即時の行動シーケンスを符号化し、遅い層は動詞と物体の間の抽象的で持続的な関連を符号化した。
• モデルは、時間経過にわたってモality特異的情報を保持できる階層的で安定した表象を維持できるため、標準的なRNNよりも一般化性能に優れていた。
• 結果から、特に運動行動中の自己認識フィードバックを含むセンサモータリの体験が、言語一般化に裏付けられるネットワークダイナミクスを形成する上で、中心的な役割を果たすことが確認された。