[논문 리뷰] Learning to Forecast and Refine Residual Motion for Image-to-Video Generation

L. Zhao, Xi Peng외 3명|arXiv (Cornell University)|2018. 07. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 8

한 줄 요약

이 논문은 구조적 조건에서 잔차 운동을 예측한 다음 시공간 신호를 사용하여 이를 정밀하게 다듬는 이단계 프레임워크를 제안한다. 잔차 운동을 학습하고 밀집 디코더 연결을 활용함으로써, 얼굴 표정 리타겟팅 및 인간 자세 예측 과제에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 펜 액션 데이터셋에서 이전 작업 대비 MSE가 23% 향상되었다.

ABSTRACT

We consider the problem of image-to-video translation, where an input image is translated into an output video containing motions of a single object. Recent methods for such problems typically train transformation networks to generate future frames conditioned on the structure sequence. Parallel work has shown that short high-quality motions can be generated by spatiotemporal generative networks that leverage temporal knowledge from the training data. We combine the benefits of both approaches and propose a two-stage generation framework where videos are generated from structures and then refined by temporal signals. To model motions more efficiently, we train networks to learn residual motion between the current and future frames, which avoids learning motion-irrelevant details. We conduct extensive experiments on two image-to-video translation tasks: facial expression retargeting and human pose forecasting. Superior results over the state-of-the-art methods on both tasks demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 단일 이미지 입력으로부터 시간적으로 일관되고 고품질의 영상을 생성하는 과제를 해결하기 위해.
• 고수준의 구조적 조건과 시공간 모델링을 융합하여 장기 영상 생성을 향상시키기 위해.
• 프레임 간 운동에 관련되지 않은 세부 사항의 학습을 줄이기 위해, 운동 전용 변화에 집중함으로써.
• 디코더 아키텍처에서의 밀집 연결을 통해 특징 재사용과 현실감을 향상시키기 위해.

제안 방법

• 프레임워크는 이단계 과정을 활용한다: 먼저 예측된 구조 시퀀스에 조건이 되는 거친 영상을 생성한 후, 시간 신호를 사용하여 이를 정밀하게 다듬는다.
• 운동 예측 네트워크는 현재 프레임과 향후 프레임 사이의 잔차 운동을 학습하여 정적 또는 관련 없는 콘텐츠의 중복 학습을 방지한다.
• 조건 생성기(예: 자세 랜드마크 또는 얼굴 키 포인트)가 영상 생성 단계를 안내하기 위해 구조 시퀀스를 예측한다.
• 정밀화 단계는 시공간 생성 네트워크를 사용하여 시간적 일관성과 시각적 품질을 향상시킨다.
• 디코더에 밀집 연결을 도입하여 공간적 특징 재사용을 촉진하고 현실감을 향상시킨다.
• 손실 함수에는 적대적 손실, 인지적 특징 손실(VGG16 및 아워가스 특징 사용), 그리고 운동 일관성 확보를 위한 재구성 손실이 포함된다.

실험 결과

연구 질문

• RQ1 잔차 운동 학습이 운동 전용 변화에 집중함으로써 영상 생성 성능을 향상시킬 수 있는가?
• RQ2 구조적 조건 안내와 시공간 정밀화를 융합함으로써 장기 영상 생성이 어떻게 향상되는가?
• RQ3 밀집 디코더 연결이 영상 생성에서 시각적 품질 향상과 특징 재사용에 얼마나 기여하는가?
• RQ4 이중 단계 생성-정밀화 파이프라인은 영상 품질과 일관성 측면에서 종단 간 접근보다 뛰어나게 작동하는가?

주요 결과

• 지표 운동 맵을 사용할 경우, 펜 액션 데이터셋에서 제안된 방법은 평균 제곱 오차(MSE)가 0.011을 기록하여 이전 최신 기술 수준 방법(Villegas 등)의 MSE 0.025를 초월하였다.
• MUG 데이터베이스에서, 이 방법은 ACD-I 점수 0.459와 ACD-C 점수 0.155를 기록하여 얼굴 표정 리타겟팅에서 뛰어난 성능을 보였다.
• 시각적 비교 결과, [39]의 결과보다 시간적으로 더 일관되고 현실감 있는 영상이 생성되었으며, 인간의 외형과 운동 구조가 더 잘 유지되었다.
• 절단 실험 결과, 잔차 학습, 밀집 연결, 이중 단계 설계와 같은 각 구성 요소가 성능 향상에 기여하며, 이들 요소를 모두 포함한 전체 모델이 각각의 요소가 누락된 변형보다 뛰어난 성능을 보였다.