[논문 리뷰] TwoStreamVAN: Improving Motion Modeling in Video Generation

Ximeng Sun, Huijuan Xu외 1명|arXiv (Cornell University)|2018. 12. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 43인용 수 7

한 줄 요약

TwoStreamVAN은 다중 해상도 융합과 운동 마스크를 사용하여 영상 합성에서 운동과 콘텐츠 생성을 분리하는 분리된 두 개의 스트림을 갖춘 변동형 적대적 네트워크를 제안한다. 이는 시간적 일관성과 시각적 품질을 향상시킨다. Weizmann, MUG, VoxCeleb 및 새로운 대규모 합성 데이터셋(SynAction)에서 최신 기술을 크게 능가하며, 운동 모델링과 콘텐츠 충실도 측면에서 우수한 정량적 및 정성적 성능을 달성한다.

ABSTRACT

Video generation is an inherently challenging task, as it requires modeling realistic temporal dynamics as well as spatial content. Existing methods entangle the two intrinsically different tasks of motion and content creation in a single generator network, but this approach struggles to simultaneously generate plausible motion and content. To im-prove motion modeling in video generation tasks, we propose a two-stream model that disentangles motion generation from content generation, called a Two-Stream Variational Adversarial Network (TwoStreamVAN). Given an action label and a noise vector, our model is able to create clear and consistent motion, and thus yields photorealistic videos. The key idea is to progressively generate and fuse multi-scale motion with its corresponding spatial content. Our model significantly outperforms existing methods on the standard Weizmann Human Action, MUG Facial Expression, and VoxCeleb datasets, as well as our new dataset of diverse human actions with challenging and complex motion. Our code is available at https://github.com/sunxm2357/TwoStreamVAN/.

연구 동기 및 목표

• 기존의 결합된 생성기 아키텍처에서의 열악한 운동 모델링 문제를 해결하기 위해.
• 해석 단계에서 운동과 콘텐츠 생성을 분리함으로써 시간적 일관성과 시각적 현실감을 향상시키기 위해.
• 다양한 해상도에서 운동과 콘텐츠를 정교화하는 확장 가능한 다중 해상도 융합 메커니즘을 개발하기 위해.
• 운동 관련 영역에 집중하는 데 도움이 되는 운동 마스크를 도입하여 정적 콘텐츠를 보존하기 위해.
• 복잡한 운동 모델링 평가를 위한 대규모 합성 인간 동작 데이터셋(SynAction)을 구축하고 공개하기 위해.

제안 방법

• TwoStreamVAN은 내용과 운동 각각을 위한 두 개의 병렬 생성기로 구성되며, 각각 분리된 잠재 코드 εc와 εm에 조건을 받는다.
• 운동과 콘텐츠는 다양한 해상도의 중간 특징 레이어에서 적용되는 다중 해상도 정교화 메커니즘을 통해 융합된다.
• 학습된 운동 마스크가 각 해상도에서 적용되어 관련성이 없는 영역을 억제함으로써 모델이 운동 영향을 받는 영역에 집중하고 정적 콘텐츠를 보존한다.
• 이중 작업 학습 체계를 사용하여 내용 생성에는 이미지 수준의 감독, 운동 생성에는 영상 수준의 감독을 적용함으로써 두 스트림을 별도로 향상시킨다.
• 다중 해상도 융합은 작은 커널 크기(n=5)를 여러 레이어에 걸쳐 사용하며, 점차 증가하는 공간 해상도에서 운동과 콘텐츠를 정교화한다.
• 프레임워크는 변동형 적대적 네트워크(VAN) 아키텍처를 기반으로 하며, VAE 스타일의 분리와 GAN 기반의 적대적 훈련을 결합하여 사진 수준의 사실감을 구현한다.

실험 결과

연구 질문

• RQ1 해석 단계에서 운동과 콘텐츠 생성을 분리하면 기존의 결합된 생성기 대비 영상 생성 품질이 향상되는가?
• RQ2 운동과 콘텐츠의 다중 해상도 융합은 생성된 영상 시퀀스의 현실감과 선명도에 어떤 영향을 미치는가?
• RQ3 운동 마스크는 정적 콘텐츠를 보존하면서 운동 모델링의 충실도를 어느 정도 향상시키는가?
• RQ4 이미지 수준과 영상 수준의 감독을 별도로 적용한 훈련 방식은 콘텐츠와 운동 생성을 각각 향상시키는가?
• RQ5 모델은 표준 벤치마크를 초월해 복잡하고 다양한 인간 동작에 대해 얼마나 잘 일반화되는가?

주요 결과

• SynAction 데이터셋에서 TwoStreamVAN은 프리셰 비디오 거리(FVD) 102.4를 기록하여 MoCoGAN(142.3) 및 기타 기준 모델을 크게 능가한다.
• Weizmann 인간 동작 데이터셋에서 TwoStreamVAN은 인ception 스코어(IS) 77.83을 달성하여 단일 융합 기반 베이스라인(75.89)을 초월하며 운동 선명도가 향상됨을 보여준다.
• 큰 운동(예: 달리기)에 대해 조건부 엔트로피 H(y|v)를 0.062로 감소시켜, 프레임 간에 더 일관되고 현실적인 운동 생성을 나타낸다.
• 절단 실험 결과, 4개 레이어에서 n=5의 다중 해상도 융합이 큰 커널(n=17)을 사용하는 단일 해상도 융합보다 성능이 뛰어나며, 특히 다리와 같은 고운동 영역에서 두드러진다.
• 운동 마스크는 정적 영역(예: 배경 무늬 및 눈의 질감)에서의 아티팩트를 감소시키며, TwoStreamVAN(−M)은 이러한 영역에서 흐릿하거나 왜곡된 무늬를 생성한다.
• 사용자 연구 결과, 특히 복잡한 운동 시퀀스에서 TwoStreamVAN은 기준 모델 대비 더 현실적이고 일관성 있는 영상을 생성함을 확인했다.