[논문 리뷰] MetaPix: Few-Shot Video Retargeting

Jessica Lee, Deva Ramanan외 1명|arXiv (Cornell University)|2019. 10. 10.

Human Pose and Action Recognition참고 문헌 40인용 수 13

한 줄 요약

MetaPix는 소수의 프레임만으로도 목표 인물과 장면에 대해 유니버설 생성 모델을 빠르고 효과적으로 개인화할 수 있는 메타러닝 기반의 소수 샘플 영상 리타겟팅 방법을 제안한다. Reptile 알고리즘을 변형하여 생성자 및 판별기 가중치를 동시에 메타최적화함으로써, 최소한의 감독(예: K=1)과 계산 자원(예: T=20) 조건에서도 기존의 기준 모델들보다 뛰어난 시간적 일관성과 성능을 달성한다.

ABSTRACT

We address the task of unsupervised retargeting of human actions from one video to another. We consider the challenging setting where only a few frames of the target is available. The core of our approach is a conditional generative model that can transcode input skeletal poses (automatically extracted with an off-the-shelf pose estimator) to output target frames. However, it is challenging to build a universal transcoder because humans can appear wildly different due to clothing and background scene geometry. Instead, we learn to adapt - or personalize - a universal generator to the particular human and background in the target. To do so, we make use of meta-learning to discover effective strategies for on-the-fly personalization. One significant benefit of meta-learning is that the personalized transcoder naturally enforces temporal coherence across its generated frames; all frames contain consistent clothing and background geometry of the target. We experiment on in-the-wild internet videos and images and show our approach improves over widely-used baselines for the task.

연구 동기 및 목표

• 소수의 타겟 프레임만 제공되는 상황에서 소스 영상의 인간 동작을 타겟 영상로 리타겟팅하는 문제를 해결한다.
• 다양한 외형(의복, 배경 등)을 가진 다양한 개인과 장면에서 작동하는 유니버설 생성 모델의 한계를 극복한다.
• 소수 샘플 적응을 통해 사전 학습된 생성 모델을 특정 타겟 도메인에 신속하고 효과적으로 개인화할 수 있는 방법을 개발한다.
• 이 성질을 위한 명시적 최적화 없이도 생성된 영상 프레임 간 강력한 시간적 일관성을 확보한다.
• 다양한 샷 수(K)와 계산 예산(T)에 일반화할 수 있는 메타초기화를 학습하여 학습 및 추론의 비용을 저감한다.

제안 방법

• 유니버설 생성자를 타겟에 맞게 K개의 프레임만으로도 적응시킬 수 있는 소수 샘플 개인화 문제로 영상 리타겟팅을 재정의한다.
• Reptile 1차 메타학습 알고리즘을 변형하여 GAN의 생성자와 판별기 가중치를 동시에 메타최적화함으로써, 소수의 샘플에서 효율적인 피紐스팅을 가능하게 한다.
• 해골 자세를 입력으로 받아 해당하는 이미지 프레임을 생성하는 조건부 생성 모델을 사용하며, 개인화는 타겟 프레임에 대한 피뉴스팅을 통해 달성한다.
• 메타학습을 통해 새로운 타겟에 대해 최소한의 계산(T회 반복)으로도 신속한 적응이 가능한 최적의 초기화 전략을 발견한다.
• 메타학습을 통해 피뉴스팅 중에도 일관된 의복과 배경 기하학을 유지할 수 있는 초기화 전략을 학습함으로써 시간적 일관성을 확보한다.
• 다양한 소스-타겟 쌍에서 메타학습러를 훈련시켜 추론 시에 새로운 배우자와 환경에 대해 일반화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 메타학습이 소수 샘플 영상 리타겟팅에 효과적으로 적용될 수 있는가? 특히 최소한의 데이터로 새로운 타겟에 대해 신속한 적응이 가능한가?
• RQ2 소수 샘플 설정에서 무작위 초기화나 사전학습된 모델 초기화보다 메타학습된 초기화가 더 높은 성능과 시간적 일관성을 제공하는가?
• RQ3 MetaPix의 성능은 개인화 과정에서 샷 수(K)와 계산 예산(T)에 따라 어떻게 변화하는가?
• RQ4 메타학습된 모델은 다양한 K와 T 값에 대해 일반화가 가능한가? 이는 비용 효율적인 배포를 가능하게 하는가?
• RQ5 메타학습된 초기화는 명시적인 시간 정규화 없이도 생성된 프레임 간의 시간적 일관성을 어느 정도 유지하는가?

주요 결과

• MetaPix는 다양한 샷 수(K)와 계산 예산(T)에서 랜덤 초기화 및 사전학습 초기화보다 모든 지표에서 뛰어난 성능을 보이며, K=5, T=200일 때 SSIM 0.51을 기록한다.
• K=1에서도 뛰어난 성능을 기록하여 영상-이미지 리타겟팅에서 가장 도전적인 소수 샘플 환경에서도 효과성을 입증한다.
• MetaPix는 뛰어난 일반화 성능을 보이며, T=200로 학습된 모델이 테스트 시 다른 T 값으로도 잘 일반화되어 비용 효율적인 추론이 가능하다.
• 메타학습된 초기화는 피뉴스팅 시작 단계부터 시간적으로 일관된 결과를 생성하는 반면, 사전학습된 기준 모델은 프레임 간 배경과 의복이 일관성 없이 변하는 경향이 있다.
• 더 높은 메타학습 학습률(ε=1.0)이 낮은 학습률(ε=0.1)보다 더 좋은 성능(SIMM=0.51)을 내며, 이는 메타최적화가 성능 향상에 중요한 역할을 함을 시사한다.
• 메타학습 중 판별기를 고정하는 것과 공동 최적화를 수행하는 것이 유사한 성능을 보이며, 이는 GAN에서 메타학습을 위해 일반적인 판별기를 사용하는 것으로도 충분할 수 있음을 시사한다.