[論文レビュー] Interaction Histories and Short Term Memory: Enactive Development of Turn-taking Behaviors in a Childlike Humanoid Robot

Frank Broz, Chrystopher L. Nehaniv+2 more|arXiv (Cornell University)|Feb 25, 2012

Social Robot Interaction and HRI参考文献 50被引用数 9

ひとこと要約

本論文では、視覚的注目と同期という社会的フィードバックを用いて、対話の履歴を一時記憶として保持することで、子どもっぽい人身柄ロボットがターン・バイ・ターン行動を学習できる、実行的認知アーキテクチャを提示する。このシステムは、一時記憶による時間的文脈の統合が、複雑なターン・バイ・ターンの順序の学習を顕著に向上させることを示しており、リアルタイムの社会的シグナルに基づいて、行動を習得・切り替え・適応可能にする。

ABSTRACT

In this article, an enactive architecture is described that allows a humanoid robot to learn to compose simple actions into turn-taking behaviors while playing interaction games with a human partner. The robot's action choices are reinforced by social feedback from the human in the form of visual attention and measures of behavioral synchronization. We demonstrate that the system can acquire and switch between behaviors learned through interaction based on social feedback from the human partner. The role of reinforcement based on a short term memory of the interaction is experimentally investigated. Results indicate that feedback based only on the immediate state is insufficient to learn certain turn-taking behaviors. Therefore some history of the interaction must be considered in the acquisition of turn-taking, which can be efficiently handled through the use of short term memory.

研究の動機と目的

• 人間との対話によって、ロボットにおける社会的行動の発達的発現を支援する実行的認知アーキテクチャの開発。
• 対話履歴の一時記憶が、人間-ロボット対話におけるターン・バイ・ターン行動の学習にどのように寄与するかの調査。
• 視覚的注目や同期といったリアルタイムの社会的フィードバックに基づいて、学習済み行動を動的に切り替えられるようにすること。
• 乳児とケアゲイバーの対話ダイナミクスにインspiredされた、社会的フィードバックを内的強化要因としてモデル化すること。
• 特定のターン・バイ・ターン行動を習得するには、即時のフィードバックだけでは不十分であり、一時記憶による時間的文脈の必要性を示すこと。

提案手法

• 本システムは、行動選択を支援するため、センサーモータ経験のシーケンスを保存・取得する対話履歴アーキテクチャ（IHA）を採用する。
• 一時記憶モジュールが最近の対話の痕跡を保持し、現在の経験と過去の経験を比較して行動選択を可能にする。
• 社会的フィードバックは、人間の視覚的注目と行動の同期から得られ、強化信号として機能する。
• 行動選択は、対話痕跡のメトリクス空間における現在の経験と過去の経験の類似度を評価する報酬メカニズムによって導かれる。
• ロボットは強化学習を通じてターン・バイ・ターン行動を学習し、成功したターン・バイ・ターンが高報酬となり、行動が強化される。
• 本システムは、反応的および能動的両方の役割をサポートし、学習済みパターンに基づいてターン・バイ・ターンゲームを開始または応答可能にする。

実験結果

リサーチクエスチョン

• RQ1 プリプログラミングされたスクリプトなしで、人型ロボットが社会的フィードバックに基づいてターン・バイ・ターン行動を学習できるか？
• RQ2 対話履歴の一時記憶を組み込むことで、複雑なターン・バイ・ターン行動の習得にどのような影響を与えるか？
• RQ3 即時のフィードバックだけではターン・バイ・ターン行動の学習に十分か、それとも時間的文脈が必要か？
• RQ4 進化する社会的シグナルに基づいて、ロボットが複数の学習済みターン・バイ・ターン行動を動的に切り替えられるか？
• RQ5 一時記憶の長さが、学習効率および行動の正確性にどの程度の影響を及えるか？

主な発見

• 一時記憶の導入により、即時のフィードバックのみでは習得できなかったターン・バイ・ターン行動の習得能力が顕著に向上した。
• 実験から、現在の状態に基づくフィードバックのみでは、特定のターン・バイ・ターンシーケンスの習得に不十分であることが明らかになり、時間的文脈の必要性が強調された。
• 本システムは、視覚的注目や同期といったリアルタイムの社会的フィードバックに基づいて、複数のターン・バイ・ターン行動を正常に習得・切り替えできた。
• 一時記憶ウィンドウの長さは、学習速度と成功確率に測定可能な影響を及ぼし、最適なパフォーマンスは特定の記憶期間で達成された。
• ロボットは過去の経験との比較に基づいて行動を選択することで、予測的行動（プロスペクション）を示し、適応的かつ文脈に応じた行動を可能にした。
• 本アーキテクチャにより、ロボットはターン・バイ・ターンゲームのイニシエーターとしての役割を果たすことができ、初期の人間発達にインspiredされた社会的自律性を示した。