[논문 리뷰] DYAN: A Dynamical Atoms Network for Video Prediction.

WenQian Liu, Abhishek Sharma외 2명|arXiv (Cornell University)|2018. 03. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 3

한 줄 요약

DYAN은 시스템 식별 원리를 활용하여 최소한의 파라미터로 시간 동적을 모델링하는 경량이며 동적 영감을 받은 신경망을 소개한다. 데이터 기반의 동적 불변성을 활용함으로써 LSTM 및 GAN 기반 방법보다 빠른 추론과 더 나은 품질의 선명한 프레임 예측을 달성한다. 또한 훈련이 더 쉬우며 다양한 데이터셋 간에 잘 일반화된다.

ABSTRACT

The ability to anticipate the future is essential when making real time critical decisions, provides valuable information to understand dynamic natural scenes, and can help unsupervised video representation learning. State-of-art video prediction is based on LSTM recursive networks and/or generative adversarial network learning. These are complex architectures that need to learn large numbers of parameters, are potentially hard to train, slow to run, and may produce blurry predictions. In this paper, we introduce DYAN, a novel network with very few parameters and easy to train, which produces accurate, high quality frame predictions, significantly faster than previous approaches. DYAN owes its good qualities to its encoder and decoder, which are designed following concepts from systems identification theory and exploit the dynamics-based invariants of the data. Extensive experiments using several standard video datasets show that DYAN is superior generating frames and that it generalizes well across domains.

연구 동기 및 목표

• 기존 비디오 예측 모델의 한계, 즉 높은 파라미터 수, 훈련 난이도, 흐릿한 출력을 해결하기 위해.
• 시스템 식별 이론의 동적 불변성을 활용하여 더 효율적이고 정확한 비디오 예측 프레임워크를 개발하기 위해.
• 다양한 비디오 도메인에서 예측 품질을 유지하거나 향상시키면서 모델 복잡도를 줄이기 위해.
• 최신 LSTM 및 GAN 기반 아키텍처에 비해 더 빠른 추론과 더 쉬운 훈련을 가능하게 하기 위해.

제안 방법

• DYAN은 시스템 식별에서 영감을 얻은 인코더-디코더 아키텍처를 사용하며, 저차원의 동적 원자로 비디오 동적을 모델링한다.
• 인코더는 비디오 프레임에서 동적 불변 성분을 식별하여 차원을 감소시킴으로써 시간 동적을 추출한다.
• 디코더는 학습된 동적을 사용해 이러한 동적 원자를 시간에 따라 전개하여 미래 프레임을 재구성한다.
• 네트워크는 재구성 손실을 사용하여 엔드 투 엔드로 훈련되며, 픽셀 수준의 예측 오차를 최소화한다.
• LSTM과 같은 순환 단위를 피하고, 비순환적이며 파라미터 효율적인 설계를 채택한다.
• 동적 원자는 지속적인 운동 패턴을 나타내는 기저 함수로 학습되며, 다양한 도메인 간 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존 방법보다 훨씬 적은 파라미터로 높은 품질의 결과를 달성할 수 있는 비디오 예측 모델이 가능한가?
• RQ2 동적 불변성을 기반으로 한 시스템이 순환 및 적대적 아키텍처보다 비디오 예측에서 뛰어난 성능을 낼 수 있는가?
• RQ3 비순환적이고 시스템 식별에서 영감을 얻은 아키텍처는 다양한 비디오 데이터셋 간에 잘 일반화되는가?
• RQ4 이러한 모델은 최신 기술에 비해 더 선명한 예측과 더 빠른 추론을 제공할 수 있는가?

주요 결과

• DYAN은 표준 비디오 데이터셋에서 최신 LSTM 및 GAN 기반 모델에 비해 뛰어난 프레임 예측 품질을 달성한다.
• 경쟁 모델에 비해 더 선명한 예측을 생성하여 일반적인 흐림 문제를 피한다.
• 비순환 설계 덕분에 순환 아키텍처보다 추론 속도가 훨씬 빠르다.
• LSTM 및 GAN 기반 모델보다 훨씬 적은 파라미터를 요구하여 훈련 효율성이 향상된다.
• 다양한 비디오 도메인 간에 잘 일반화되어 분포 이탈에 대해 강건함을 보인다.