[논문 리뷰] Combining Recurrent Neural Networks and Adversarial Training for Human Motion Synthesis and Control

Zhiyong Wang, Jinxiang Chai외 1명|arXiv (Cornell University)|2018. 06. 21.

Human Motion and Animation인용 수 10

한 줄 요약

이 논문은 LSTM 기반의 RNN과 적대적 훈련을 조합한 접촉 인식 생성 모델을 제안한다. 이 모델은 생성된 운동을 GAN 유사 판별망을 통해 정제하고 접촉 정보를 통합함으로써, 실존하는 운동 캡처 데이터와 구분하기 어려울 정도로 매우 현실적인 무한 길이의 고해상도 운동 시퀀스를 합성한다. 이는 기준 RNN보다 현실성과 제어 응용 분야에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper introduces a new generative deep learning network for human motion synthesis and control. Our key idea is to combine recurrent neural networks (RNNs) and adversarial training for human motion modeling. We first describe an efficient method for training a RNNs model from prerecorded motion data. We implement recurrent neural networks with long short-term memory (LSTM) cells because they are capable of handling nonlinear dynamics and long term temporal dependencies present in human motions. Next, we train a refiner network using an adversarial loss, similar to Generative Adversarial Networks (GANs), such that the refined motion sequences are indistinguishable from real motion capture data using a discriminative network. We embed contact information into the generative deep learning model to further improve the performance of our generative model. The resulting model is appealing to motion synthesis and control because it is compact, contact-aware, and can generate an infinite number of naturally looking motions with infinite lengths. Our experiments show that motions generated by our deep learning model are always highly realistic and comparable to high-quality motion capture data. We demonstrate the power and effectiveness of our models by exploring a variety of applications, ranging from random motion synthesis, online/offline motion control, and motion filtering. We show the superiority of our generative model by comparison against baseline models.

연구 동기 및 목표

• 딥 러닝을 활용하여 인간 운동의 비선형 역학과 장기적인 시간적 의존성을 모델링하는 데 도전한다.
• RNN 기반 운동 생성에 적대적 훈련을 통합하여 운동의 현실성을 향상시킨다.
• 접촉 정보를 생성 모델에 통합하여 물리적 타당성을 높이고 시각적 결함을 줄인다.
• 다양한 운동 유형에 일반화되는 작고 스케일링 가능한 모델을 통해 운동 제어 및 합성을 유연하게 가능하게 한다.
• 원본 훈련 데이터를 저장하지 않고도 실시간으로 고품질의 운동 생성 및 필터링이 가능한 시스템을 개발한다.

제안 방법

• 시퀀스 운동 역학과 장기적 의존성을 모델링하기 위해 생성기로 장기 기억 단기 기억(LSTM) 네트워크를 사용한다.
• 생성된 운동이 실제 운동 캡처 데이터와 구별되지 않도록 하는 데 목적이 있는 적대적 손실을 통해 훈련된 정제 네트워크(R)를 활용한다.
• 운동 시퀀스를 실제 또는 정제된 것으로 분류하는 판별 네트워크(D)를 도입하여 생성기와 함께 최소-최대 게임을 형성한다.
• 예를 들어 발이 지면에 접촉하는 상태와 같은 접촉 상태 정보를 입력 특징으로 통합하여 물리적 타당성과 결함 감소를 향상시킨다.
• 원본 RNN 출력과 정제된 운동 간의 구조적 유사성을 유지하기 위해 자기 정규화 손실을 적용한다.
• 생성기의 판별기 속임을 위한 적대적 손실과 운동 허구성을 유지하기 위한 복원 손실을 조합하여 전체 시스템을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 RNN 기반 인간 운동 시퀀스의 현실성에 크게 기여할 수 있는가?
• RQ2 접촉 정보를 통합할 경우 합성된 운동의 품질과 물리적 타당성은 어떻게 영향을 받는가?
• RQ3 제안된 모델은 제어 및 애니메이션에 적합한 무한 길이이자 다양하고 고해상도의 운동 시퀀스를 생성할 수 있는가?
• RQ4 사용자 정의 제약 조건 하에서 기준 RNN과 비교해 모델의 운동 현실성과 일반화 능력은 어떠한가?
• RQ5 모델을 다시 처음부터 훈련하지 않고도 새로운 데이터로 얼마나 잘 미세조정할 수 있는가?

주요 결과

• 제안된 모델(GAN2)은 산책 시퀀스에서 운동의 현실성에 대해 평균 사용자 평가 점수 4.75점을 기록했고, 달리기 시퀀스에서는 4.68점을 기록하여 실제 운동 캡처 데이터(Mocap)의 품질에 매우 가까운 성능을 달성했다.
• 기준 RNN과 GAN 전용 버전(GAN1)보다도 우수한 성능을 보이며, 접촉 인식 모델링의 추가적 이점을 입증했다.
• 모델이 생성한 운동 시퀀스는 항상 매우 현실적이고 자연스럽게 평가되었으며, 발이 미끄러지거나 불안정해지는 등의 시각적 결함이 최소한으로 발생했다.
• GTX 970 GPU에서 30 FPS로 실시간 추론을 구현하여 상호작용 응용 분야에서 실용적으로 활용 가능했다.
• 모델은 작고 스케일링 가능한 상태를 유지한다: 추가 훈련 데이터와 함께 크기가 증가하지 않으며, 다시 처음부터 훈련하지 않고도 미세조정이 가능하다.
• MAP 기반의 운동 제어 프레임워크는 사용자 제약 조건과 운동 사전 지식을 효과적으로 균형 잡아, 입력 제약 조건이 노이즈가 있거나 자연스럽지 않더라도 자연스러운 운동을 생성했다.