[논문 리뷰] Scaling Autoregressive Video Models

Dirk Weissenborn, Oscar Täckström외 1명|arXiv (Cornell University)|2019. 06. 06.

Human Pose and Action Recognition참고 문헌 41인용 수 14

한 줄 요약

이 논문은 3D 블록 국소화 자기주도 attention과 시공간 하향 스케일링을 사용하여 비디오를 3D 볼륨으로 모델링하는 확장 가능한 자동회귀 비디오 생성 모델을 제안한다. 이로 인해 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하고, 복잡한 Kinetics 요리 비디오를 포함한 고해상도이고 현실적인 비디오 연속성을 생성하지만, 다양성과 장거리 의존성 문제에 도전한다.

ABSTRACT

Due to the statistical complexity of video, the high degree of inherent stochasticity, and the sheer amount of data, generating natural video remains a challenging task. State-of-the-art video generation models often attempt to address these issues by combining sometimes complex, usually video-specific neural network architectures, latent variable models, adversarial training and a range of other methods. Despite their often high complexity, these approaches still fall short of generating high quality video continuations outside of narrow domains and often struggle with fidelity. In contrast, we show that conceptually simple autoregressive video generation models based on a three-dimensional self-attention mechanism achieve competitive results across multiple metrics on popular benchmark datasets, for which they produce continuations of high fidelity and realism. We also present results from training our models on Kinetics, a large scale action recognition dataset comprised of YouTube videos exhibiting phenomena such as camera movement, complex object interactions and diverse human movement. While modeling these phenomena consistently remains elusive, we hope that our results, which include occasional realistic continuations encourage further research on comparatively complex, large scale datasets such as Kinetics.

연구 동기 및 목표

• 다양하고 복잡한 비디오 분포에서 고해상도이고 현실적인 비디오 연속성을 생성하는 데 도전하는 데 목적을 두며.
• 효율적인 3D 자기주도 attention을 활용하여 이전 자동회귀 모델의 비디오 생성에서 느린 생성 속도와 불안정성 등의 한계를 극복한다.
• 복잡한 아키텍처나 적대적 훈련 없이도 개념적으로 단순한 자동회귀 모델이 비디오 생성 벤치마크에서 경쟁 가능한 성능을 달성할 수 있음을 보여준다.
• 카메라 이동과 물체 상호작용과 같은 복잡한 현상을 포함한 다양한 대규모 데이터셋인 Kinetics-600과 같은 데이터셋에서 자동회귀 비디오 모델을 훈련할 수 있는 가능성을 탐색한다.
• 효율적이고 TPU에 최적화된 아키텍처를 사용하여 향후 고복잡도 비디오 생성 연구를 위한 확장 가능한 기반을 마련한다.

제안 방법

• 비디오를 시공간적 의존성을 3D 볼륨으로 효과적으로 모델링하기 위해 블록 국소화 자기주도 attention의 3D 일반화를 도입하여 TPU에서의 효율적 훈련을 가능하게 한다.
• Menick & Kalchbrenner (2019)의 영감을 받아 시공간 하향 스케일링을 적용하여 공간적 및 시간적 패치를 하향 샘플링함으로써 메모리와 계산 비용을 감소시킨다.
• 공간적 차원과 시간적 차원 간의 구분 없이 단일 통합 Transformer 기반 아키텍처를 사용하며, 다중 헤드 3D 자기주도 attention에 의존한다.
• 128개의 TPU v3 코어를 사용하여 다운샘플된 Kinetics-600 비디오와 BAIR Robot Pushing 및 Moving MNIST 등의 벤치마크 데이터셋에서 1M 스텝 동안 모델을 훈련한다.
• 생성 샘플의 다양성과 품질 간 균형을 맞추기 위해 온도 기반 샘플링을 구현하며, 온도는 0.9로 설정한다.
• 비디오 현상의 복잡성에 대한 정성적 분석을 포함한 표준 평가 지표인 bits/dim(퍼플렉서티) 및 Fréchet Video Distance(FVD)를 사용하여 모델을 평가한다.

실험 결과

연구 질문

• RQ1 3D 자기주도 attention에 기반한 단순한 자동회귀 비디오 모델이 복잡한 아키텍처나 적대적 훈련 없이도 비디오 생성 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 시공간 하향 스케일링과 블록 국소화 attention이 장거리 시공간 모델링을 유지하면서 얼마나 메모리와 계산 비용을 줄일 수 있는가?
• RQ3 이러한 모델은 Kinetics-600과 같은 대규모이고 다양한 데이터셋에서, 특히 카메라 이동과 물체 상호작용과 같은 복잡한 현상에 대해 고해상도이고 현실적인 비디오 연속성을 생성할 수 있는가?
• RQ4 특히 도전적인 데이터셋에서 퍼플렉서티와 FVD 측면에서 이전 자동회귀 비디오 모델과 비교해 모델의 성능은 어떠한가?
• RQ5 Kinetics와 같은 매우 확률적이고 다양한 비디오 분포로 확장할 때 자동회귀 비디오 모델에서 나타나는 고장 유형과 한계는 무엇인가?

주요 결과

• 대규모 시공간 하향 스케일링 모델은 BAIR Robot Pushing 데이터셋에서 1.19 bits/dim의 퍼플렉서티와 FVD 점수 170을 기록하여 이전 자동회귀 모델을 초월했다.
• 단일 프레임 모델은 동일한 벤치마크에서 1.14 bits/dim의 퍼플렉서티를 기록하여 강력한 모델링 능력을 보였지만, 샘플에서 불안정성과 색상 폭발 현상에 약했다.
• Kinetics-600 요리 서브셋에서 모델은 현실적인 카메라 이동, 물체 상호작용, 화염과 수증기와 같은 동적 현상이 포함된 타당한 연속성을 생성했다.
• 정성적 분석 결과, 모델은 줌인/아웃, 시점 이동, 장면 전환, 미세한 인간 운동과 같은 복잡한 비디오 현상을 처리할 수 있었지만, 손가락과 얼굴 운동은 여전히 도전 과제였다.
• 벤치마크에서 뛰어난 성능를 보였음에도 불구하고, 일부 경우에 Kinetics에서 왜곡되거나 창백한 생성 결과가 나타나 비디오 복잡성을 완전히 포착하기 위해 더 큰 모델이나 데이터셋이 필요함을 시사했다.
• 결과적으로 확장 가능하고 효율적인 자동회귀 비디오 모델이 다양한 실제 비디오 데이터에서 고해상도 비디오 연속성을 생성할 수 있음을 보여주며, 향후 연구를 위한 새로운 기준을 설정했다.