[논문 리뷰] Animating Landscape: Self-Supervised Learning of Decoupled Motion and Appearance for Single-Image Video Synthesis

Yuki Endo, Yoshihiro Kanamori외 1명|arXiv (Cornell University)|2019. 10. 16.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 단일 풍경 이미지에서 고해상도, 장기적인 애니메이션을 생성하기 위해 자기지도 학습 및 분리된 딥러닝 방법을 제안한다. 이는 운동(역방향 흐름 필드를 통해)과 외관(색상 이동 함수를 통해)을 별도로 예측함으로써 이루어지며, 각 프레임에서 원본 입력 이미지에만 이러한 중간 표현을 적용함으로써 오차 누적이 방지되고, 이전 방법들에 비해 더 뛰어난 시간적 일관성과 해상도를 갖춘 제어 가능하고 순환적인 비디오 합성을 가능하게 한다.

ABSTRACT

Automatic generation of a high-quality video from a single image remains a challenging task despite the recent advances in deep generative models. This paper proposes a method that can create a high-resolution, long-term animation using convolutional neural networks (CNNs) from a single landscape image where we mainly focus on skies and waters. Our key observation is that the motion (e.g., moving clouds) and appearance (e.g., time-varying colors in the sky) in natural scenes have different time scales. We thus learn them separately and predict them with decoupled control while handling future uncertainty in both predictions by introducing latent codes. Unlike previous methods that infer output frames directly, our CNNs predict spatially-smooth intermediate data, i.e., for motion, flow fields for warping, and for appearance, color transfer maps, via self-supervised learning, i.e., without explicitly-provided ground truth. These intermediate data are applied not to each previous output frame, but to the input image only once for each output frame. This design is crucial to alleviate error accumulation in long-term predictions, which is the essential problem in previous recurrent approaches. The output frames can be looped like cinemagraph, and also be controlled directly by specifying latent codes or indirectly via visual annotations. We demonstrate the effectiveness of our method through comparisons with the state-of-the-arts on video prediction as well as appearance manipulation.

연구 동기 및 목표

• 단일 정적 풍경 이미지에서부터 운동과 외관이 서로 다른 시간 스케일로 변화하는 고품질의 장기 비디오를 생성하는 도전 과제를 해결하기 위해.
• 생성된 프레임에 반복적으로 적용하는 대신, 입력 이미지에 직접 적용함으로써 운동과 외관 예측을 분리함으로써 장기 예측에서의 오차 누적을 줄이기 위해.
• 잠재 코드와 시각적 애너테이션을 통해 제어 가능한 비디오 생성을 가능하게 하여 운동과 외관에 대한 직접적 및 간접적 제어를 제공하기 위해.
• 지상 진실 데이터 없이 시간 경과 영상 데이터셋에서 자기지도 학습을 활용하여 기존 최고 수준의 방법을 뛰어넘는 비디오 품질과 해상도를 향상시키기 위해.

제안 방법

• 이 방법은 운동을 모델링하기 위해 역방향 광학 흐름 필드를 예측하는 하나의 별도의 컨volution 신경망과, 외관 변화를 모델링하기 위해 공간적으로 스무스한 색상 이동 함수를 예측하는 다른 하나의 별도의 컨volution 신경망을 사용한다.
• 운동은 역방향 흐름 필드를 사용하여 프레임 간의 차이로 모델링되며, 이는 입력 이미지를 왜곡하여 중간 운동 영향을 받은 프레임을 생성하는 데 사용된다.
• 외관 변화는 입력 프레임과 시간 경과 영상에서의 임의의 프레임 사이의 색상 이동 함수로 모델링되며, 이는 시간적으로 보간되어 부드러운 색상 전이를 제공한다.
• 잠재 코드는 미래 예측의 불확실성을 모델링하기 위해 사용되며, 추론 중에 타당하고 다양한 출력을 보장하기 위해 정규화가 적용된다.
• 최종 비디오 프레임은 각 출력 프레임마다 예측된 흐름 필드와 색상 이동 함수를 원본 입력 이미지에 한 번만 적용하여 합성되며, 이는 반복적인 오차 전파를 방지한다.
• 잠재 코드의 샘플링 또는 시각적 애너테이션을 통해 제어가 가능해지며, 이는 운동과 외관에 대한 직접적 또는 간접적 조작을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자연 풍경에서 운동과 외관을 서로 다른 시간 스케일로 효과적으로 분리하여 모델링할 수 있는가? 이는 비디오 합성 품질 향상에 기여하는가?
• RQ2 시간 경과 영상 데이터셋에서 자기지도 학습을 통해 지상 진실 데이터 없이도 고해상도, 장기적인 비디오 생성이 가능한가?
• RQ3 입력 이미지에만 중간 표현(흐름 필드 및 색상 이동 함수)을 적용하는 방식이 반복적 생성 방식에 비해 오차 누적을 줄이는가?
• RQ4 잠재 코드를 통해 단일 이미지에서 제어 가능하고 다양한, 타당한 비디오 생성이 가능한가?
• RQ5 종단 간 프레임 예측 방식에 비해 분리된 중간 표현 방식은 해상도, 일관성, 시간적 안정성 측면에서 어떻게 비교되는가?

주요 결과

• 이 방법은 1024×576 해상도의 고해상도 비디오를 생성하며, 이는 이전의 단일 이미지 기반 비디오 합성 방법들보다 크게 뛰어난 해상도를 제공한다.
• 오차 누적이 감소한 장기적인 비디오 시퀀스를 구현하며, 500 프레임에 이르러도 안정적인 시각적 품질을 유지함으로써 성능이 입증되었지만, 매우 장기간의 시퀀스에서는 일부 왜곡이 나타났다.
• 잠재 코드 또는 시각적 애너테이션을 통해 운동과 외관을 독립적으로 제어할 수 있어, 동일한 입력 이미지에서 다양한 타당한 애니메이션을 생성할 수 있다.
• 중간 표현(흐름 필드 및 색상 이동 함수)을 입력 이미지에만 적용함으로써 반복적 생성에서 흔히 발생하는 오차 누적 문제를 방지하여 장기적인 일관성을 향상시켰다.
• 정량적 및 정성적 비교 결과, 시각적 품질과 시간적 안정성 측면에서 최고 수준의 비디오 예측 및 외관 조작 모델들보다 뛰어난 성능을 보였다.
• 자연스럽게 순환되는 애니메이션을 성공적으로 생성하여, 현실적인 시간에 따라 변화하는 장면의 역학을 모델링할 수 있음을 입증했다.