[논문 리뷰] Stochastic Latent Residual Video Prediction

Jean-Yves Franceschi, Edouard Delasalles외 3명|arXiv (Cornell University)|2020. 02. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 82인용 수 40

한 줄 요약

논문은 잔여 잠재 동역학 업데이트를 갖춘 완전한 잠재 확률 비디오 예측 모델을 도입하여 비자기회귀 예측과 더 높은 프레임 속도 유연성을 가능하게 하며, 다수의 벤치마크에서 최첨단 성능을 보여준다.

ABSTRACT

Designing video prediction models that account for the inherent uncertainty of the future is challenging. Most works in the literature are based on stochastic image-autoregressive recurrent networks, which raises several performance and applicability issues. An alternative is to use fully latent temporal models which untie frame synthesis and temporal dynamics. However, no such model for stochastic video prediction has been proposed in the literature yet, due to design and training difficulties. In this paper, we overcome these difficulties by introducing a novel stochastic temporal model whose dynamics are governed in a latent space by a residual update rule. This first-order scheme is motivated by discretization schemes of differential equations. It naturally models video dynamics as it allows our simpler, more interpretable, latent model to outperform prior state-of-the-art methods on challenging datasets.

연구 동기 및 목표

• 자기지도 방식으로 미래의 불확실성을 포착하는 예측 비디오 모델 학습을 촉진한다.
• 완전한 잠재적 비자 autoregressive 시간 모델과 확률적 잔차 업데이트 규칙을 제안한다.
• 프레임 합성으로부터 동적 잠재 상태의 진화를 분리하여 해석 가능성 및 효율성을 향상시킨다.
• 정적인 장면 정보를 포착하고 프레임 생성을 돕기 위해 콘텐츠 변수를 도입한다.
• 표준 확률적 비디오 예측 벤치마크에서 기저 모델 대비 개선된 성능을 입증한다.

제안 방법

• 프레임을 y_t에서 생성된 잠재 상태로 모델링하고 확률적 잔차 업데이트 y_{t+1}=y_t+f_theta(y_t,z_{t+1})를 사용한다.
• dy~ N(mu_theta(y_t), sigma_theta(y_t))의 잠재 확률 변수 z_{t+1}를 도입하여 다이나믹을 유도한다.
• 프레임을 조건화하여 유도된 콘텐츠 변수 w를 사용해 정적 장면 정보를 나타내고 프레임 디코더에 feed한다.
• y_1과 z_t에 대한 KL 항과 y_t 및 w에 대한 로그 가능도 항을 포함하는 ELBO를 이용한 변분 추론을 적용한다.
• Delta t를 통해 제어 가능한 프레임 속도를 허용하여 재학습 없이도 서로 다른 프레임 속도로 생성이 가능하도록 한다.
• dynamics를 안정시키기 위해 f_theta에 잔차 규제 용어로 학습한다.
• CNN 기반 제너레이터 g_theta를 사용해 y_t와 w로부터 프레임 x_t를 디코딩한다.

실험 결과

연구 질문

• RQ1 잔여 다이내믹스를 갖춘 완전한 잠재 확률 모델이 자기회귀 또는 전통적 SSM 기반 접근법보다 확률적 비디오 예측에서 더 우수한가?
• RQ2 콘텐츠를 다이내믹스로 분리하는 것이 학습 효율성과 예측 품질을 향상시키는가?
• RQ3 잔차 다이내믹스 형식이 학습에 사용된 것보다 높은 프레임 속도의 비디오를 생성하는 데 호환되는가?
• RQ4 제안된 모델이 표준 확률적 비디오 예측 벤치마크에서 최첨단 기저 모델과 어떻게 비교되는가?
• RQ5 Moving MNIST, KTH, Human3.6M, BAIR 같은 데이터셋에서 모델이 다양한 미래를 안정적으로 예측할 수 있는가?

주요 결과

데이터셋	SV2P	SAVP	SVG	StructVRNN	우리	우리 - Δt/2	우리 - MLP	우리 - GRU
KTH	636 p m 1	374 p m 3	377 p m 6	—	222 p m 3	244 p m 3	255 p m 4	240 p m 5
Human3.6M	—	—	—	556 p m 9	416 p m 5	415 p m 3	582 p m 4	1050 p m 20
BAIR	965 p m 17	152 p m 9	255 p m 4	—	163 p m 4	222 p m 42	162 p m 4	178 p m 10

• 다수의 확률적 비디오 예측 벤치마크(KTH, Human3.6M, BAIR)에서 최첨단 기저 모델보다 우수하다.
• 동일 잔차 프레임워크의 MLP/GRU 변형과 비교해 SVG보다 더 긴 시계열 다이내믹 모델링을 보여준다.
• Δt를 절반으로 줄이고 재학습 없이도 더 높은 프레임 속도로 비디오를 생성하면서도 성능이 유지되거나 향상된다.
• 동적 콘텐츠(y)와 정적 콘텐츠(w)를 분리해 모델이 잠재 공간에서 다이나믹스에 집중하도록 한다.
• 확률적 잠재 변수 z_t를 갖는 잔차 다이내믹스는 순수히 결정적이거나 자기회귀적 접근법에 비해 이점을 제공한다.
• FVD 점수는 데이터셋 전반에서 강력한 성능을 나타내며 특히 KTH와 Human3.6M에서 주목할 만한 향상을 보인다.