[논문 리뷰] Dynamics Transfer GAN: Generating Video by Transferring Arbitrary Temporal Dynamics from a Source Video to a Single Target Image

Wissam J. Baddar, Geonmo Gu외 2명|arXiv (Cornell University)|2017. 12. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 15

한 줄 요약

Dynamics Transfer GAN는 목표 이미지의 공간적 외형을 유지하면서 소스 비디오에서 임의의 시간적 동역학을 전달하여 비디오를 생성한다. 이는 공간적 외형을 억제한 동역학 특징을 사용하여 소스 비디오의 운동을 분리하고, 공간 충실도와 시간 일관성을 보장하기 위해 이중 판별기(dual discriminators)를 활용함으로써, 목표 이미지의 정체성이 왜곡되지 않은 채 고품질의 장시간 비디오 생성을 달성한다.

ABSTRACT

In this paper, we propose Dynamics Transfer GAN; a new method for generating video sequences based on generative adversarial learning. The spatial constructs of a generated video sequence are acquired from the target image. The dynamics of the generated video sequence are imported from a source video sequence, with arbitrary motion, and imposed onto the target image. To preserve the spatial construct of the target image, the appearance of the source video sequence is suppressed and only the dynamics are obtained before being imposed onto the target image. That is achieved using the proposed appearance suppressed dynamics feature. Moreover, the spatial and temporal consistencies of the generated video sequence are verified via two discriminator networks. One discriminator validates the fidelity of the generated frames appearance, while the other validates the dynamic consistency of the generated video sequence. Experiments have been conducted to verify the quality of the video sequences generated by the proposed method. The results verified that Dynamics Transfer GAN successfully transferred arbitrary dynamics of the source video sequence onto a target image when generating the output video sequence. The experimental results also showed that Dynamics Transfer GAN maintained the spatial constructs (appearance) of the target image while generating spatially and temporally consistent video sequences.

연구 동기 및 목표

• 소스 비디오에서 임의의 시간적 동역학을 단일 타겟 이미지로 전달하여 고품질 비디오 시퀀스를 생성하는 것.
• 비디오 생성 과정에서 타겟 이미지의 공간적 외형과 정체성을 유지하는 것.
• 고정된 길이 제약 없이 가변 길이 비디오 생성을 가능하게 하는 것.
• 소스 비디오에서 운동 동역학을 공간적 외형과 분리하여 정밀한 전달을 가능하게 하는 것.
• 생성된 비디오 시퀀스에서 공간 충실도와 시간 일관성을 모두 확보하는 것.

제안 방법

• 이 방법은 타겟 이미지와 소스 비디오 시퀀스의 특징을 결합하여 프레임을 합성하는 생성망(generator network)을 사용한다.
• 공간적 외형을 억제한 동역학 특징을 도입하여 소스 비디오의 공간적 외형을 억제하면서도 시간적 동역학을 유지하며, 스파티오-시간적 인코딩을 위해 사전 훈련된 RNN을 활용한다.
• 이중 판별기를 사용한다: 프레임 수준의 현실성과 외형 충실도를 검증하기 위한 공간 판별기와 비디오 시퀀스 전반에 걸친 시간적 일관성을 평가하기 위한 동역학 판별기.
• 장기적인 공간적 일관성과 동역학 일관성을 유지하기 위해 생성망에 추가 목적 함수를 적용한다.
• 동역학 판별기는 장시간 시퀀스의 뒷부분에 집중하도록 설계되어 시간이 지남에 따라 품질이 유지됨을 보장한다.
• 실제감과 운동 일관성을 향상시키기 위해 인지적 손실과 적대적 손실을 조합한 적대적 학습(adversarial learning)을 사용하여 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 소스 비디오의 임의의 시간적 동역학을 타겟 이미지로 효과적으로 전달할 수 있는가? 이때 타겟 이미지의 공간적 외형이 왜곡되지 않는가?
• RQ2 소스 비디오에서 운동 동역학을 공간적 외형과 분리하여 다른 이미지로 전달하기 위해선 어떻게 해야 하는가?
• RQ3 GAN 기반 모델이 고정된 길이 제약 없이 장시간이고 시간적으로 일관된 비디오 시퀀스를 생성할 수 있는가?
• RQ4 기존의 CNN-LSTM 특징과 비교해 볼 때, 공간적 외형 억제 동역학 특징의 사용이 비디오 품질 향상에 기여하는가?
• RQ5 이중 판별기(spatial 및 dynamics)가 프레임 수준의 현실성과 시퀀스 수준의 운동 일관성을 효과적으로 강화하는가?

주요 결과

• 제안된 공간적 외형 억제 동역학 특징은 특히 고속도 또는 변형이 심한 영역에서 생성 프레임의 아티팩트를 크게 감소시킨다.
• 사용자 선호도 실험 결과, 공간적 외형 억제 동역학 특징을 사용한 비디오가 CNN-LSTM 특징을 사용한 비디오보다 82.88%의 참가자들이 선호함을 확인하였다.
• 0 픽셀 타겟 이미지를 사용한 시각화 결과, 모델이 소스 비디오의 동역학만 생성함을 입증하였으며, 공간적 외형 억제가 효과적으로 이루어졌음을 확인하였다.
• 모델은 소스 비디오에서 복잡하고 임의의 운동 패턴을 가져오면서도 타겟 이미지의 공간적 구조를 성공적으로 유지한다.
• 이중 판별기 아키텍처는 장기간의 비디오 시퀀스에서도 높은 프레임 수준의 현실성과 장기적인 시간 일관성을 보장한다.
• 정성적 결과는 생성된 비디오가 공간적·시간적으로 일관되며, 타겟 이미지의 정체성이 최소한으로 왜곡됨을 보여준다.