[논문 리뷰] Few-shot Video-to-Video Synthesis

Ting-Chun Wang, Ming-Yu Liu외 4명|arXiv (Cornell University)|2019. 10. 28.

Advanced Vision and Imaging참고 문헌 64인용 수 8

한 줄 요약

이 논문은 단일 기준 이미지를 사용하여 학습된 가변적인 컨볼루션 가중치를 활용해 고품질의 비디오 프레임을 생성하는 소수의 비디오에서 비디오로의 합성 방법을 제안한다. 레이어 간에 특징을 재사용하고, 여러 예시 이미지의 특징을 융합하기 위해 주의 메커니즘을 도입함으로써, 주제별로 광범위한 훈련이 필요로 하는 기존 방법에 비해 최소한의 추론 시간으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Video-to-video synthesis (vid2vid) aims at converting an input semantic video, such as videos of human poses or segmentation masks, to an output photorealistic video. While the state-of-the-art of vid2vid has advanced significantly, existing approaches share two major limitations. First, they are data-hungry. Numerous images of a target human subject or a scene are required for training. Second, a learned model has limited generalization capability. A pose-to-human vid2vid model can only synthesize poses of the single person in the training set. It does not generalize to other humans that are not in the training set. To address the limitations, we propose a few-shot vid2vid framework, which learns to synthesize videos of previously unseen subjects or scenes by leveraging few example images of the target at test time. Our model achieves this few-shot generalization capability via a novel network weight generation module utilizing an attention mechanism. We conduct extensive experimental validations with comparisons to strong baselines using several large-scale video datasets including human-dancing videos, talking-head videos, and street-scene videos. The experimental results verify the effectiveness of the proposed framework in addressing the two limitations of existing vid2vid approaches.

연구 동기 및 목표

• 단일 기준 이미지만을 사용하여 고해상도 비디오에서 비디오로의 합성을 가능하게 하여 주제별로 대규모 훈련 데이터에 의존하는 것을 줄이기.
• vid2vid 및 Zhou 등(2019)과 같은 기존 방법들이 각 개인별로 광범위한 훈련 데이터와 시간이 소요되는 데서 비롯되는 한계를 극복하기.
• 단일 예시 이미지에서 유연하게 컨볼루션 가중치를 생성할 수 있는 일반화 능력이 뛰어나고 추론 속도가 빠른 프레임워크를 개발하기.
• 특징 재사용과 주의 메커니즘을 통해 공간적으로 가변적인 동적 컨볼루션 커널을 학습시켜 합성 품질과 다양성을 향상시키기.

제안 방법

• 이전 레이어의 특징을 재사용하여 애페인 매개변수를 생성함으로써 SPADE 생성자에 수정을 가함으로써 레이어 간 특징 일관성을 향상시킴.
• 학습 가능한 가중치 생성 메커니즘을 도입하여 기준 이미지의 특징을 적응형 풀링(AdaPool)을 통해 인코딩하고, 완전히 연결된 레이어를 거쳐 컨볼루션 커널 가중치를 생성함.
• 다양한 예시 이미지의 특징을 융합하기 위해 주의 메커니즘을 도입함으로써, 각 출력 위치에 대해 어느 예시 이미지의 어느 공간 위치에서 기여가 가장 큰지를 학습하는 소프트 공간 맵을 생성함.
• 생성된 가중치는 SPADE 레이어에서 공간적으로 가변적인 정규화 매개변수를 생성하는 데 사용되어 콘텐츠 인식 특징 조정을 가능하게 함.
• AdaIN을 초월하여 더 큰 커널 크기와 그룹 정규화를 허용함으로써 표현력과 유연성을 높임.
• 모델은 엔드 투 엔드로 훈련되며, 단일 예시 이미지를 사용해 거의 실시간 추론이 가능함.

실험 결과

연구 질문

• RQ1 각 주제별 미세조정 없이도 단일 기준 이미지만으로 효과적으로 비디오에서 비디오로의 합성을 수행할 수 있는가?
• RQ2 고정된 정규화 방법인 AdaIN에 비해 가변적 가중치 생성 방식이 시각적 품질과 표현력 측면에서 어떻게 비교되는가?
• RQ3 여러 예시 이미지를 융합하는 주의 메커니즘이 합성 품질과 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 데이터셋 크기가 증가함에 따라 이 방법은 어떻게 스케일업되며, 훈련 데이터가 증가할 때 성능 유지 여부는 어떻게 되는가?
• RQ5 훈련 도메인과 크게 다를 경우, 예를 들어 CG 캐릭터와 같은 새로운 도메인에 대해 이 방법은 일반화가 가능한가?

주요 결과

• 단일 예시 이미지만으로도 vid2vid 및 기타 베이스라인과 비교해 유사하거나 더 뛰어난 시각적 품질을 달성함으로써 강력한 소수의 일반화 능력을 입증함.
• 추가 예시 이미지로 미세조정을 수행한 결과, 성능이 기존 베이스라인을 초월함으로써 높은 적응 능력을 보임.
• 주의 메커니즘이 여러 예시 이미지에서 관련 신체 부위(예: 앞면 및 뒷면 뷰)에 주의를 기울여 합성 품질을 크게 향상시킴.
• AdaIN에 비해 제안된 가중치 생성 방식이 데이터셋 크기가 증가함에 따라 더 뛰어나지 않으며, 표현력이 높고 더 큰 컨볼루션 커널을 생성할 수 있기 때문이다.
• 사람 평가 결과, 60,000건의 평가 기반으로 0.5를 상회하는 선호도 점수가 확인되어 시각적 품질 측면에서의 우수성을 확인함.
• 훈련 데이터와 너무 다른 도메인(예: CG 캐릭터)에서는 실패함으로써 제로샷 도메인 일반화 능력에 한계가 있음을 시사함.