[논문 리뷰] Greedy Hierarchical Variational Autoencoders for Large-Scale Video Prediction

Bo-Han Wu, Suraj Nair외 3명|arXiv (Cornell University)|2021. 03. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 79인용 수 7

한 줄 요약

이 논문은 깊이 있는 계층적 비디오 예측 모델을 탐욕적이고 순차적인 방식으로 훈련함으로써 안정적인 최적화와 향상된 메모리 효율성을 달성하는 그리디 계층적 변분 오토인코더(GHVAEs)를 제안한다. 이전에 훈련된 모듈의 가중치를 동결하고 각 수준을 별도로 훈련시음으로써 GHVAEs는 비디오 데이터셋에서 FVD 점수를 17–55% 향상시키고, 실제 로봇 조작 작업에서 성공률을 35–40% 향상시키며, 더 많은 모듈을 추가할수록 성능이 단조적으로 향상된다.

ABSTRACT

A video prediction model that generalizes to diverse scenes would enable intelligent agents such as robots to perform a variety of tasks via planning with the model. However, while existing video prediction models have produced promising results on small datasets, they suffer from severe underfitting when trained on large and diverse datasets. To address this underfitting challenge, we first observe that the ability to train larger video prediction models is often bottlenecked by the memory constraints of GPUs or TPUs. In parallel, deep hierarchical latent variable models can produce higher quality predictions by capturing the multi-level stochasticity of future observations, but end-to-end optimization of such models is notably difficult. Our key insight is that greedy and modular optimization of hierarchical autoencoders can simultaneously address both the memory constraints and the optimization challenges of large-scale video prediction. We introduce Greedy Hierarchical Variational Autoencoders (GHVAEs), a method that learns high-fidelity video predictions by greedily training each level of a hierarchical autoencoder. In comparison to state-of-the-art models, GHVAEs provide 17-55% gains in prediction performance on four video datasets, a 35-40% higher success rate on real robot tasks, and can improve performance monotonically by simply adding more modules.

연구 동기 및 목표

• 다양하고 대규모 데이터셋에서 훈련되는 대규모 비디오 예측 모델에서의 과소적합 문제를 해결하기 위해.
• 엔드 투 엔드 훈련에서 모델 크기를 제한하는 GPU/TPU의 메모리 제약을 극복하기 위해.
• 계층적 잠재 변수 간 상호의존성으로 인해 악화되는 최적화 불안정성을 해결하기 위해.
• 다양한 시나리오에 일반화되며 로봇 계획 지원이 가능한 확장 가능한 고해상도 비디오 예측을 가능하게 하기 위해.
• 모델 깊이가 증가할수록 성능이 단조적으로 향상되는 훈련 철학을 설계하기 위해.

제안 방법

• GHVAEs는 이전에 훈련된 모듈의 가중치를 동결하고 각 계층적 모듈을 별도로 훈련하는 탐욕적이고 순차적인 훈련 전략을 사용한다.
• 각 모듈은 확률적 잠재 변수를 포함한 인코더-디코더 아키텍처로 구성되며, 변분 하한(ELBO)을 최대화하도록 훈련된다.
• 모듈을 독립적으로 훈련시음으로써 계층적 잠재 변수 간 상호의존성을 제거하여 최적화 안정성을 향상시킨다.
• 모델은 계층적 구조에서 동작 조건 기반 사전 확률을 활용하여 로봇 제어에서의 계획을 가능하게 한다.
• 훈련 과정이 메모리 효율적이므로 고정된 GPU/TPU 메모리 한계 내에서 더 큰 모델을 훈련할 수 있다.
• 추론 시에는 모든 모듈을 동시에 사용하여 입력 프레임에서 고해상도 비디오 예측을 생성한다.

실험 결과

연구 질문

• RQ1 탐욕적이고 모듈러한 훈련이 깊이 있는 계층적 VAE의 최적화를 안정화시킬 수 있는가?
• RQ2 계층적 모듈을 순차적으로 훈련하면 대규모이고 다양한 비디오 데이터셋에서 성능 향상이 이루어지는가?
• RQ3 GHVAEs는 최신 기술 모델보다 더 높은 비디오 예측 품질과 로봇 작업 성공률을 달성할 수 있는가?
• RQ4 GHVAE 모듈의 수를 늘일수록 성능 향상이 단조롭게 이루어지는가?
• RQ5 GHVAEs는 대규모 비디오 예측 모델 훈련 시 메모리 병목 현상을 극복할 수 있는가?

주요 결과

• GHVAEs는 네 가지 다양한 비디오 데이터셋에서 최신 기술 모델 대비 FVD 점수를 17–55% 향상시켰다.
• 로봇 조작 작업에서 계획에 사용되었을 때 실제 로봇 작업 성공률이 35–40% 향상되었다.
• GHVAE 모듈을 추가할수록 성능이 단조롭게 향상되어 확장 가능성을 보였다.
• RoboNet에서의 실패 사례, 예를 들어 움직이는 물체의 추적 오류는 과소적합으로 인한 것으로 분석되었으며, 모델 깊이를 증가시킴으로써 해결 가능하다.
• 모델의 성능은 부분 관측성에 민감하며, 3D 상태나 다중 시점 입력을 추가하면 더욱 견고한 성능 향상이 기대된다.
• 이론적 분석을 통해 탐욕적 훈련이 ELBO를 유지하거나 향상시켜 안정적인 최적화를 보장함을 확인했다.