[論文レビュー] Modeling Joint Improvisation between Human and Virtual Players in the Mirror Game

Chao Zhai, Francesco Alderisio+3 more|arXiv (Cornell University)|Dec 17, 2015

Action Observation and Synchronization参考文献 26被引用数 4

ひとこと要約

本論文は、個々の運動特性とリアルタイムフィードバックを統合することで、ミラーミュージックにおける共同即興を捉える、画期的な最適制御モデルを提案する。このモデルにより、仮想プレイヤーは人間と同期的で共同創り出された動きを生成可能であり、実験と収束解析によって検証された。これは、最初のリアルタイムで動作するモデル駆動型仮想アバターであり、エマergentな共同即興を実現した。

ABSTRACT

Joint improvisation is observed to emerge spontaneously among humans performing joint action tasks, and has been associated with high levels of movement synchrony and enhanced sense of social bonding. Exploring the underlying cognitive and neural mechanisms behind the emergence of joint improvisation is an open research challenge. This paper investigates the emergence of jointly improvised movements between two participants in the mirror game, a paradigmatic joint task example. A theoretical model based on observations and analysis of experimental data is proposed to capture the main features of their interaction. A set of experiments is carried out to test and validate the model ability to reproduce the experimental observations. Then, the model is used to drive a computer avatar able to improvise joint motion with a human participant in real time. Finally, a convergence analysis of the proposed model is carried out to confirm its ability to reproduce the emergence of joint movement between the participants.

研究の動機と目的

• 人間同士および人間-仮想プレイヤー間のミラーミュージックにおいて、共同即興がどのように生じるかを説明する数学的フレームワークの構築。
• 人間の運動データから個々の運動特性をモデル化し、仮想プレイヤーの行動をパーソナライズ化すること。
• 人間参加者と新しい協調的動きを生成するリアルタイム仮想プレイヤーの設計。単なる模倣ではなく、協調的で新規な動きを生成することを目的とする。
• 制御実験を通じて、モデルが観察された同期性と即興の特徴を再現できるかの検証。
• 結合系の収束性と安定性を数学的に分析し、リアルタイムでの信頼性ある動作を保証すること。

提案手法

• モデルは最適制御理論を用い、位置追従、速度一致、個々の運動特性の忠実度をバランスさせるコスト関数を最小化する。
• コスト関数には、位置誤差、基準シグネチャからの速度ずれ、制御努力の項が含まれており、調整可能な重み θp,i, θσ,i, θv,i を有する。
• ポントレヤーギンの最小原理を用いてハミルトニアンに基づく最適制御定式化が導出され、オープンループ制御入力と状態-コストート状態のダイナミクスが得られる。
• 各タイムステップにおける位置誤差から導かれるコストート変数の端末条件を用いて、二点境界値問題としてシステムを解く。
• 仮想プレイヤーの運動は、Leap Motionコントローラーから取得したサンプリング済みの人間の指先位置を用いてリアルタイムで更新される。
• 高精度なラボ環境と低コストのLeap Motionベース環境の2つの設定で、モデルの妥当性を実験的に検証した。

実験結果

リサーチクエスチョン

• RQ1 数学的モデルは、人間同士のミラーミュージック相互作用における共同即興の発生をどのように捉えることができるか？
• RQ2 モデル駆動型仮想プレイヤーは、単なる模倣ではなく、リアルタイムで人間と同期的かつ共同創り出された動きを生成できるか？
• RQ3 速度周波数プロファイルによって定義される個々の運動特性は、どの程度仮想プレイヤーにエンコードされ、再現可能か？
• RQ4 どのような制御パラメータが、人間と仮想プレイヤー間の安定的で収束的かつ社会的になじみやすい共同運動を可能にするか？
• RQ5 モデルベースの仮想プレイヤーは、人間同士の共同即興で観察された運動学的特徴と同期パターンを再現できるか？

主な発見

• 提案されたモデルは、ミラーミュージックにおいて、人間と仮想プレイヤーの間で同期的で共同創り出された動きが生じることを成功裏に再現し、共同即興の発生を示した。
• モデル駆動型仮想プレイヤーは、人間の動きを直接複製するのではなく、新規で繰り返しのない動きのパターンを生成しており、真の即興の兆候を示している。
• 実験的検証により、仮想プレイヤーは人間参加者と高い同期性を達成しており、位置および速度プロファイルが人間の行動と密接に一致していることが示された。
• 収束解析により、仮想プレイヤー間の位置誤差が有界であることが確認され、安定的で信頼性の高いリアルタイム相互作用が保証された。
• パラメータ θp,i, θσ,i, θv,i のチューニングにより、模倣、個性、協調性のバランスを制御可能となり、柔軟な相互作用スタイルの実現が可能になった。
• モデルは、単独の人間の運動データから個々の運動特性を効果的にエンコードし、再現可能であり、パーソナライズされた仮想プレイヤー行動を実現した。