[논문 리뷰] Creative Robot Dance with Variational Encoder

Agnese Augello, Emanuele Cipolla외 4명|arXiv (Cornell University)|2017. 07. 05.

Reinforcement Learning in Robotics참고 문헌 21인용 수 11

한 줄 요약

이 논문은 움직임 캡처 데이터에서 학습하여 실시간으로 음악에 동기화된 새로운 춤 동작을 생성할 수 있는 변분 오토인코더(VAE) 기반 시스템을 제안한다. 음악적 특징을 VAE의 잠재공간에 통합함으로써, 훈련 데이터에 존재하지 않는 창의적이고 일관된 안무를 로봇이 즉각적으로 즉흥연출할 수 있으며, 이로 인해 운동의 다양성이 증가하고 인간다운 표현성이 향상된다.

ABSTRACT

What we appreciate in dance is the ability of people to sponta- neously improvise new movements and choreographies, sur- rendering to the music rhythm, being inspired by the cur- rent perceptions and sensations and by previous experiences, deeply stored in their memory. Like other human abilities, this, of course, is challenging to reproduce in an artificial entity such as a robot. Recent generations of anthropomor- phic robots, the so-called humanoids, however, exhibit more and more sophisticated skills and raised the interest in robotic communities to design and experiment systems devoted to automatic dance generation. In this work, we highlight the importance to model a computational creativity behavior in dancing robots to avoid a mere execution of preprogrammed dances. In particular, we exploit a deep learning approach that allows a robot to generate in real time new dancing move- ments according to to the listened music.

연구 동기 및 목표

• 사전에 정의된 운동 시퀀스를 넘어서는 로봇 춤을 위한 계산적 창의성 프레임워크를 개발하기 위해.
• 현장 음악 입력에 기반하여 인간형 로봇이 실시간으로 새로운 음악에 동기화된 춤 동작을 생성할 수 있도록 하기 위해.
• 과거의 운동 기억과 실시간 음악 인식을 통합하여 인간다운 즉흥연주를 모델링하기 위해.
• 운동 변동성과 관객 피드백이 로봇 춤 공연의 창의성 인식에 미치는 영향을 평가하기 위해.

제안 방법

• 숙련된 댄서들의 움직임 캡처 데이터 세트와 관련된 음악 특징을 포함하여 VAE를 훈련한다.
• VAE는 운동 동작의 연속적인 잠재공간 표현을 학습하여, 새로운 운동 패턴의 보간 및 생성을 가능하게 한다.
• 음악 특징(예: 리듬, 템포, 장르 등)이 인코딩되어 잠재공간에 통합되어 새로운 음악에 동기화된 운동 생성을 조절한다.
• 시스템은 운동 다양성을 정량화하고 훈련 중 창의적 출력을 평가하기 위해 연합 변동성 지표를 사용한다.
• 관객 및 전문가 평가에 기반한 피드백 메커니즘이 클러스터 내 운동 점수를 동적으로 조정하여 향후 생성을 개선한다.
• 모델은 라이브 공연과 영상 시연을 통해 훈련 에포크 수에 따라 점차 풍부해지는 운동의 풍부함을 보여주며 평가된다.

실험 결과

연구 질문

• RQ1 VAE 기반 시스템은 사전 정의된 안무에 의존하지 않고 실시간으로 새로운 음악에 동기화된 춤 동작을 생성할 수 있는가?
• RQ2 VAE의 잠재공간에 음악 특징을 통합함으로써 생성된 춤 시퀀스의 다양성과 일관성은 어떻게 영향을 받는가?
• RQ3 잠재공간 내 운동 변동성이 로봇 춤에서의 창의성 인식과 얼마나 관련이 있는가?
• RQ4 관객 및 전문가 피드백은 생성 과정에 어떻게 통합되어 로봇의 춤 스타일을 개선하고 개인화할 수 있는가?
• RQ5 훈련 중 관절 구성의 변동성을 증가시키면 더 표현적이고 인간다운 로봇 춤 공연이 될 수 있는가?

주요 결과

• 관절 구성의 변동성이 훈련 과정에서 크게 증가하여, 에포크 25에 도달할 무렵 평균 변동성이 0.4145에 도달했으며, 이는 더 높은 운동 다양성을 의미한다.
• 에포크 25에 도달한 시스템은 서로 다른 반복되지 않는 운동 시퀀스를 생성하였으며, 이는 이전 에포크에 비해 향상된 조화와 표현적 품질을 보였다.
• 후기 훈련 단계(예: 에포크 25)에서 생성된 운동은 그림 5에 시각화된 바와 같이 풍부하고 다양한 관절 각도 궤적을 보였으며, 이는 복잡한 운동 패턴의 효과적인 학습을 확인한다.
• 새로운 음악 입력에 기반하여 훈련 데이터에 존재하지 않는 새로운 춤 시퀀스를 성공적으로 생성함으로써 즉흥연주 능력을 입증하였다.
• 관객 및 전문가 평가에 기반한 피드백 기반 점수 메커니즘이 효과적으로 운동 선택을 개선했으며, 낮은 점수의 운동은 높은 점수의 대안으로 교체되었다.
• 특히 에포크 10에서 25 사이에 걸쳐 점차 증가하는 운동 변동성은 창의성 인식 향상과 관련이 있었으며, 이는 변동성이 창의적 출력의 핵심 지표임을 시사한다.