[논문 리뷰] Modeling Joint Improvisation between Human and Virtual Players in the Mirror Game

Chao Zhai, Francesco Alderisio외 3명|arXiv (Cornell University)|2015. 12. 17.

Action Observation and Synchronization참고 문헌 26인용 수 4

한 줄 요약

이 논문은 개인의 운동 서명과 실시간 피드백을 통합하여 거울 게임에서의 공동 즉흥적 행동을 포착하는 새로운 최적 제어 모델을 제안한다. 이 모델은 가상 플레이어가 인간과 함께 동기화되고 공동으로 창조된 움직임을 생성할 수 있도록 하며, 실험 및 수렴 분석을 통해 검증되었으며, 임의의 공동 즉흥 행동을 생성하는 최초의 실시간, 모델 기반 가상 아바타를 의미한다.

ABSTRACT

Joint improvisation is observed to emerge spontaneously among humans performing joint action tasks, and has been associated with high levels of movement synchrony and enhanced sense of social bonding. Exploring the underlying cognitive and neural mechanisms behind the emergence of joint improvisation is an open research challenge. This paper investigates the emergence of jointly improvised movements between two participants in the mirror game, a paradigmatic joint task example. A theoretical model based on observations and analysis of experimental data is proposed to capture the main features of their interaction. A set of experiments is carried out to test and validate the model ability to reproduce the experimental observations. Then, the model is used to drive a computer avatar able to improvise joint motion with a human participant in real time. Finally, a convergence analysis of the proposed model is carried out to confirm its ability to reproduce the emergence of joint movement between the participants.

연구 동기 및 목표

• 인간-인간 및 인간-가상 플레이어 상호작용에서 거울 게임 동안 공동 즉흥 행동이 어떻게 발생하는지를 설명하는 수학적 프레임워크를 개발하는 것.
• 인간의 운동 데이터로부터 개인의 운동 서명을 모델링하여 가상 플레이어 행동의 개인화를 가능하게 하는 것.
• 인간 참가자와 함께 새로운, 조율된 움직임을 생성하는 실시간 가상 플레이어를 설계하는 것. 단순히 모방하는 것을 넘어서서이다.
• 통제된 실험을 통해 모델이 관찰된 동기화 및 즉흥 행동을 재현할 수 있는지 검증하는 것.
• 결합된 시스템의 수렴성과 안정성을 수학적으로 분석하여 실시간 성능의 신뢰성을 확보하는 것.

제안 방법

• 모델은 위치 추적, 속도 일치, 개인의 운동 서명 충실도를 균형 잡는 비용 함수를 최소화하는 최적 제어 이론을 사용한다.
• 비용 함수에는 위치 오차, 기준 서명에서의 속도 이탈, 제어 노력 항목이 포함되며, 조정 가능한 가중치 θp,i, θσ,i, θv,i를 포함한다.
• 포트리아긴의 최소 원칙을 사용하여 해밀토니안 기반 최적 제어 설정을 유도하며, 개방 루프 제어 입력과 상태-비용상태 역학을 도출한다.
• 각 시간 단계에서의 위치 오차로부터 유도된 비용상태 변수의 종단 조건을 갖는 두점 경계값 문제로 시스템을 해결한다.
• 가상 플레이어의 운동은 레이프 모션 컨트롤러로부터 샘플링된 인간의 손끝 위치를 실시간으로 사용하여 업데이트된다.
• 모델은 두 가지 설정에서 실험적으로 검증된다: 고정밀도 실험실 설정과 저비용 레이프 모션 기반 설정.

실험 결과

연구 질문

• RQ1 어떻게 수학적 모델이 인간-인간 거울 게임 상호작용에서 공동 즉흥 행동의 발생을 포착할 수 있는가?
• RQ2 모델 기반 가상 플레이어는 단순히 모방하는 것을 넘어서 실시간으로 인간과 동기화되고 공동으로 창조된 움직임을 생성할 수 있는가?
• RQ3 속도 주파수 프로파일로 정의된 개인의 운동 서명은 어느 정도로 가상 플레이어에 인코딩되고 재현될 수 있는가?
• RQ4 안정적이고 수렴적이며 사회적으로 매력적인 인간과 가상 플레이어 간의 공동 운동을 가능하게 하는 제어 파rameter는 무엇인가?
• RQ5 모델 기반 가상 플레이어는 인간-인간 공동 즉흥 행동에서 관찰된 운동역학적 특성과 동기화 패턴을 재현하는가?

주요 결과

• 제안된 모델은 거울 게임에서 인간과 가상 플레이어 간에 동기화되고 공동으로 창조된 움직임의 발생을 성공적으로 재현하며, 공동 즉흥 행동을 입증한다.
• 모델 기반 가상 플레이어는 인간의 움직임을 직접 복제하지 않는 새로운, 반복적이지 않은 운동 패턴을 생성하여 진정한 즉흥 행동을 나타낸다.
• 실험적 검증 결과, 가상 플레이어는 인간 참가자와 높은 수준의 운동 동기화를 달성하였으며, 위치 및 속도 프로파일이 인간 행동과 밀도 있게 일치함을 보였다.
• 수렴 분석 결과, 가상 플레이어 간의 위치 오차가 유계임을 확인하여 안정적이고 신뢰할 수 있는 실시간 상호작용을 보장한다.
• θp,i, θσ,i, θv,i 파rameter의 튜닝을 통해 모방, 개성, 조율 간의 균형을 제어할 수 있으며, 다양한 상호작용 스타일을 유연하게 구현할 수 있다.
• 모델은 단독 인간의 운동 데이터로부터 개인의 운동 서명을 성공적으로 인코딩하고 재현하여, 개인화된 가상 플레이어 행동을 가능하게 한다.