[논문 리뷰] Clockwork Variational Autoencoders

Vaibhav Saxena, Jimmy Ba외 1명|arXiv (Cornell University)|2021. 02. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 12

한 줄 요약

클록워크 변분 오토인코더(CW-VAE)는 다양한 고정된 시계 속도로 작동하는 다중 수준의 잠재 동역학 모델을 도입하여 장기적인 시계열 영상 예측을 정확하게 수행한다. 이는 RSSM 및 SVG와 같은 최신 기술보다 장기적인 시퀀스에서 뛰어난 성능을 보이며, 500프레임의 마인크래프트 벤치마크에서 400프레임 이상의 정확한 예측을 달성한다. 고수준의 잠재변수는 느리게 변화하는 콘텐츠를, 저수준의 잠재변수는 빠른 동적 요소를 처리한다.

ABSTRACT

Deep learning has enabled algorithms to generate realistic images. However, accurately predicting long video sequences requires understanding long-term dependencies and remains an open challenge. While existing video prediction models succeed at generating sharp images, they tend to fail at accurately predicting far into the future. We introduce the Clockwork VAE (CW-VAE), a video prediction model that leverages a hierarchy of latent sequences, where higher levels tick at slower intervals. We demonstrate the benefits of both hierarchical latents and temporal abstraction on 4 diverse video prediction datasets with sequences of up to 1000 frames, where CW-VAE outperforms top video prediction models. Additionally, we propose a Minecraft benchmark for long-term video prediction. We conduct several experiments to gain insights into CW-VAE and confirm that slower levels learn to represent objects that change more slowly in the video, and faster levels learn to represent faster objects.

연구 동기 및 목표

• 100프레임 이상의 장기적인 영상 시퀀스를 정확히 예측하는 데 있어 기존 모델이 장기적 의존성을 포착하기 어려운 문제를 해결하기 위해.
• 시간적 추상화와 계층적 잠재변수를 통해 느리게 변화하는 요소와 빠르게 변화하는 요소를 분리함으로써 장기적 영상 예측 성능을 향상시키는 방법을 탐색하기 위해.
• 최대 1000프레임까지의 시퀀스를 포함한 장기적 영상 예측 성능 평가를 위해 MineRL Navigate 데이터셋을 기반으로 한 새로운 벤치마크를 도입하기 위해.
• 모델이 다양한 시간 스케일에 걸쳐 정보를 어떻게 조직하는지 확인하기 위해.
• 운동 주파수에 따라 정보 부담을 적절한 잠재변수로 이동함으로써 모델이 다양한 시퀀스 속도에 적응하는 방식을 탐구하기 위해.

제안 방법

• CW-VAE는 각각 다른 고정된 주기로 작동하는 잠재변수의 계층을 사용하며, 가장 느린 수준은 여러 입력 프레임에 한 번씩 작동한다.
• 모델은 엔드 투 엔드로 훈련하기 위해 변분 추론을 사용하며, 인접한 수준 간의 시계 속도 비율을 결정하는 시간적 추상화 요소를 포함한다.
• 모델은 자동회귀 피드백 없이 잠재계층에서 디코딩하여 영상 프레임을 생성함으로써 장기적 예측을 효율적으로 수행한다.
• 각 수준에 대해 KL 정규화를 사용하여 정보량을 측정하며, 높은 KL 값은 해당 수준에 더 많은 정보가 저장되어 있음을 나타낸다.
• 이 아키텍처는 이미지 입력을 처리하고 계층적 잠재공간에서 예측을 생성하기 위해 컨volutional 인코더와 디코더를 사용한다.
• 모델은 Moving MNIST, KTH, HMDB, MineRL Navigate 등의 다양한 데이터셋에서 훈련되며, 추상화 요소와 수준 수에 대한 아블레이션 연구가 수행된다.

실험 결과

연구 질문

• RQ1 고정된 시계 속도를 가진 계층적 잠재 동역학 모델이 100프레임 이상의 장기적 영상 예측 성능을 향상시킬 수 있는가?
• RQ2 계층의 고수준 잠재변수는 배경 구조와 같은 느리게 변화하는 시나리오 요소를 학습하는 데 사용되며, 저수준 잠재변수는 빠르게 변화하는 요소를 처리하는가?
• RQ3 입력 시퀀스의 속도가 변화할 경우 모델이 잠재변수 간의 정보 분포를 어떻게 적응시키는가?
• RQ4 시간적 추상화를 증가시켜(더 큰 시계 속도 비율을 사용해) 더 긴 수평선에서 더 정확한 예측이 가능해지는가?
• RQ5 모델은 다양한 영상 데이터셋에 일반화되어 있으며, 기존 최고 수준의 영상 예측 모델을 초월하는가?

주요 결과

• 500프레임의 시퀀스를 가진 MineRL Navigate 데이터셋에서 CW-VAE는 400프레임 이상 정확한 예측을 달성하며, 이는 기존 모델이 150프레임 이내에서 실패하는 것과 비교해 뚜렷한 우월성을 보인다.
• 모델은 합성 데이터셋에서 1000프레임 수준의 장기 예측 성능을 향상시키며, RSSM 및 SVG와 같은 다양한 지표에서 뛰어난 성능을 보인다.
• 고수준 잠재변수는 미로의 벽 색상과 같은 느리게 변화하는 콘텐츠를 저장하는 반면, 저수준 잠재변수는 카메라 위치와 같은 빠르게 변화하는 요소를 표현한다.
• Moving MNIST에서 더 빠르게 움직이는 숫자를 훈련시킬 경우, 하위 수준의 KL 발산은 증가하고 고수준에서는 감소하여 운동 속도에 따라 정보 분포가 적응하는 것을 확인한다.
• 수준 수를 늘리거나 시간적 추상화 요소를 증가시키면 하위 수준의 정보 부담이 감소하며, 이는 더 깊은 계층에서 시간 스케일에 걸쳐 정보를 더 효율적으로 분배함을 나타낸다.
• 모델의 성능은 프레임 레이트 변화에 뛰어난 내재성을 보이며, 느린 시퀀스는 고수준 잠재변수를 더 많이 사용하고, 빠른 시퀀스는 저수준 잠재변수에 더 의존함으로써 동적 적응이 가능하다.