[논문 리뷰] Visual Dynamics: Probabilistic Future Frame Synthesis via Cross Convolutional Networks

Tianfan Xue, Jiajun Wu외 2명|arXiv (Cornell University)|2016. 07. 09.

Advanced Vision and Imaging참고 문헌 8인용 수 145

한 줄 요약

하나의 이미지에서 감독 없이 여러 개의 그럴듯한 미래 프레임을 합성하기 위해 조건부 변분 자동인코더와 교차 합성곱 네트워크를 사용하는 확률적 프레임워크로, 모션 조건 분포를 포착한다.

ABSTRACT

We study the problem of synthesizing a number of likely future frames from a single input image. In contrast to traditional methods, which have tackled this problem in a deterministic or non-parametric way, we propose a novel approach that models future frames in a probabilistic manner. Our probabilistic model makes it possible for us to sample and synthesize many possible future frames from a single input image. Future frame synthesis is challenging, as it involves low- and high-level image and motion understanding. We propose a novel network structure, namely a Cross Convolutional Network to aid in synthesizing future frames; this network structure encodes image and motion information as feature maps and convolutional kernels, respectively. In experiments, our model performs well on synthetic data, such as 2D shapes and animated game sprites, as well as on real-wold videos. We also show that our model can be applied to tasks such as visual analogy-making, and present an analysis of the learned network representations.

연구 동기 및 목표

• 단일 입력 이미지가 주어졌을 때 미래 프레임의 조건부 분포를 동기부여하고 모델링한다.
• 주석 없이도 콘텐츠 인식이 가능한 확률적 모션 표현을 학습한다.
• 본질적 모션 모호성을 반영하는 다양한 현실적인 미래 프레임의 샘플링을 가능하게 한다.
• 시각적 유추 생성에 대한 적용 가능성을 보여주고 학습된 표현을 분석한다.

제안 방법

• p(v|I,z)를 모델링하기 위해 조건부 변분 자동인코더를 도입하고 p(z|v,I)에서 샘플링하여 미래 프레임 J=I+v를 생성한다.
• 이미지 의존 모션 커널을 다중 스케일 특징 맵에 적용하여 차분 이미지 v를 합성하는 교차 합성곱 계층을 제안한다.
• 네 스케일 피라미드 위의 이미지 인코더와 모션 인코더를 사용하여 잠재 모션 코드 z를 얻는다.
• 디코더는 학습된 모션 커널과 특징 맵을 결합하여 Eulerian 모션 v를 회귀한다.
• 재구성 목적과 KL-divergence 정규화 및 재매개화를 사용하여 연속 프레임 쌍에 대해 학습한다.
• 테스트 시: 사전 분포(경험적 모션 분포)에서 z를 샘플링하고 단일 입력 이미지 I에 대해 여러 미래 프레임 J=I+v를 생성한다.

실험 결과

연구 질문

• RQ1 확률적 모델이 단일 이미지로 조건화된 여러 개의 가능한 미래 프레임을 포착할 수 있는가?
• RQ2 영역별 커널 가중 모션을 학습하는 교차 합성곱 네트워크가 Eulerian 모션을 이전 방법들보다 더 잘 모델링하는가?
• RQ3 비지도 학습 없이 합성 및 실제 비디오 데이터에 대해 모델이 얼마나 잘 일반화되는가?
• RQ4 학습된 표현이 시각적 유추 생성 및 모션 채널의 해석과 같은 작업을 지원하는가?

주요 결과

• 모델은 z 평균 분산의 95%를 설명하는 30개 미만의 PCA 구성요소를 포함하는 희소하고 고수준의 모션 표현 z를 학습한다.
• 모델의 샘플이 합성 형태 데이터에서 실제 모션 분포에 근접하게 근사하며, flow-transfer 및 non-VAE 기반선보다 우수하다.
• 스프라이트와 실제 영상 데이터셋에서 이 방법은 현실적이고 다양한 미래 프레임을 생성하며, 인간 주관 실험에서 흐름 기반 기준선보다 더 높은 점수를 얻는다.
• 학습된 모션 관계를 새로운 입력으로 이전시켜 제로샷 시각적 유추를 가능하게 하며, 일부 감독 학습 유추 방법보다 우수하다.
• 네트워크가 학습한 특징 맵은 객체와 등고선을 자연스럽게 감지하여 의미 있는 모션 인식 표현을 시사한다.