[논문 리뷰] Human Action Generation with Generative Adversarial Networks

Mohammad Ahangar Kiasari, Dennis Singh Moirangthem외 1명|arXiv (Cornell University)|2018. 05. 26.

Human Pose and Action Recognition참고 문헌 18인용 수 11

한 줄 요약

이 논문은 행동 클래스 레이블과 초기 자세를 조건으로 하여 다양한 연속적인 인간 동작 시퀀스를 생성하기 위한 조건부 GAN-오토에인코더 프레임워크를 제안한다. 종합적으로 엔드 투 엔드 방식으로 오토에인코더와 조건부 GAN을 함께 훈련시킴으로써, 기존의 운동 시퀀스가 필요 없이 새로운 스타일이 다양하게 구현된 동작을 생성할 수 있으며, 이는 NTU RGB+D 데이터셋에서 입증되었다. 이로 인해 다양한 동작 간의 원활한 전환을 가능하게 한다.

ABSTRACT

Inspired by the recent advances in generative models, we introduce a human action generation model in order to generate a consecutive sequence of human motions to formulate novel actions. We propose a framework of an autoencoder and a generative adversarial network (GAN) to produce multiple and consecutive human actions conditioned on the initial state and the given class label. The proposed model is trained in an end-to-end fashion, where the autoencoder is jointly trained with the GAN. The model is trained on the NTU RGB+D dataset and we show that the proposed model can generate different styles of actions. Moreover, the model can successfully generate a sequence of novel actions given different action labels as conditions. The conventional human action prediction and generation models lack those features, which are essential for practical applications.

연구 동기 및 목표

• 기존의 인간 동작 예측 모델에서의 제어 부족 문제를 해결하기 위해, 원하는 행동 클래스 레이블이나 초기 조건에 기반해 새로운 동작을 생성할 수 있도록 하는 것.
• RNN 기반 및 GAN 기반의 이전 모델의 한계를 극복하여, 서로 다른 동작 간에 원활한 전환을 갖는 다수의 연속된 인간 동작 시퀀스를 생성하는 것.
• 랜덤 노이즈 벡터 $ z $ 를 통해 생성된 동작에 스타일 제어를 가능하게 하여, 동일한 행동 클래스 내에서 다양한 운동 스타일을 구현하는 것.
• 입력 운동 시퀀스가 필요 없이도, 행동 클래스 레이블 $ l $ 과 초기 자세 $ c $ 뿐만으로도 새로운 동작 시퀀스를 생성할 수 있음을 입증하는 것.

제안 방법

• 모델은 변동성 오토에인코더(Variational Autoencoder, VAE)와 조건부 생성 적대적 네트워크(Conditional Generative Adversarial Network, cGAN)를 결합하여, 엔드 투 엔드 방식으로 함께 훈련한다.
• 생성기(generator)는 랜덤 노이즈 벡터 $ z $, 행동 클래스 레이블 $ l $, 그리고 초기 자세 $ c $ 를 입력으로 받아 뼈대 자세 시퀀스를 생성한다.
• 판별기(discriminator)는 $ l $ 과 $ c $ 를 조건으로 하여 실제 시퀀스와 생성된 시퀀스를 구분함으로써 생성된 동작 시퀀스의 현실성 여부를 평가한다.
• 오토에인코더 구성 요소는 인간 운동 시퀀스의 압축된 잠재 표현을 학습하며, 이는 GAN 훈련을 보조하는 데 사용된다.
• 모델는 각 동작 생성 후 최종 자세와 새로운 행동 레이블로 $ c $ 와 $ l $ 를 재초기화함으로써 순차적 생성을 가능하게 한다.
• 모델 훈련은 Microsoft Kinect에서 얻은 뼈대 시퀀스를 사용한 NTU RGB+D 데이터셋에서 수행되며, 생성기는 적대적 손실과 재구성 손실을 통해 훈련된다.

실험 결과

연구 질문

• RQ1 생성 모델은 이전 운동 시퀀스에 의존하지 않고 다양한 새로운 인간 동작 시퀀스를 생성할 수 있는가?
• RQ2 모델은 서로 다른 행동 클래스 간에 원활한 전환을 갖는 연속된 동작 시퀀스를 생성할 수 있는가?
• RQ3 랜덤 노이즈 벡터 $ z $ 는 동일한 행동 클래스 내에서 운동 스타일을 어느 정도 제어할 수 있는가?
• RQ4 모델은 초기 자세와 행동 클래스 레이블에 조건을 두고 동작을 생성하는 데 얼마나 효과적인가?

주요 결과

• 다양한 랜덤 노이즈 벡터 $ z $ 를 사용함으로써, 동일한 행동 클래스에 대해 스타일이 다른 다수의 동작 시퀀스를 성공적으로 생성하였으며, 이는 그림 3에서 확인할 수 있다.
• 모델는 앉기 다음에 일어나기 등의 연속된 동작 시퀀스를 부드러운 전환을 통해 생성하였으며, 이는 그림 5와 6에서 입증되었다.
• 다른 초기 자세 $ c $ 는 생성된 시퀀스의 다른 시작 위치로 이어지며, 이는 모델이 초기 조건에 민감함을 확인한다. 이는 그림 7에서 확인할 수 있다.
• 입력 운동 시퀀스가 없더라도, 행동 클래스 레이블 $ l $ 과 초기 자세 $ c $ 뿐만으로도 현실적이고 다양한 운동 시퀀스를 생성할 수 있다.
• RNN이나 다중 GAN을 사용하지 않으며, 행동 클래스와 초기 상태에 대한 제어를 가능하게 하여, 이전의 모델들(예: HP-GAN)을 능가하는 프레임워크를 제공한다.