[논문 리뷰] Transformation-based Adversarial Video Prediction on Large-Scale Data

Pauline Luc, Aidan Clark외 5명|arXiv (Cornell University)|2020. 03. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 89인용 수 13

한 줄 요약

이 논문은 대규모 데이터셋에서 적대적 비디오 예측을 위한 새로운 변환 기반 순환 유닛(TSRU)과 향상된 판별기 아키텍처를 제안한다. 운동 인식 특징 변환과 막힘 영역 직접 생성을 결합함으로써, Kinetics-600에서 Fréchet Video Distance(FVD)를 69.2에서 25.7로 감소시켜 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recent breakthroughs in adversarial generative modeling have led to models capable of producing video samples of high quality, even on large and complex datasets of real-world video. In this work, we focus on the task of video prediction, where given a sequence of frames extracted from a video, the goal is to generate a plausible future sequence. We first improve the state of the art by performing a systematic empirical study of discriminator decompositions and proposing an architecture that yields faster convergence and higher performance than previous approaches. We then analyze recurrent units in the generator, and propose a novel recurrent unit which transforms its past hidden state according to predicted motion-like features, and refines it to handle dis-occlusions, scene changes and other complex behavior. We show that this recurrent unit consistently outperforms previous designs. Our final model leads to a leap in the state-of-the-art performance, obtaining a test set Frechet Video Distance of 25.7, down from 69.2, on the large-scale Kinetics-600 dataset.

연구 동기 및 목표

• 적대적 훈련을 사용하여 Kinetics-600와 같은 대규모 데이터셋에서 비디오 예측 성능을 향상시키기.
• 복잡한 운동과 막힘 현상을 모델링하는 데에 한계가 있는 표준 순환 유닛의 문제점을 해결하기.
• 변환 기반 워핑과 직접적 특징 생성을 결합한 확장 가능하고 효율적인 순환 유닛 개발하기.
• 수렴 속도를 가속화하고 대규모 훈련에서 비디오 품질을 향상시키기 위해 판별기 아키텍처 최적화하기.
• 대규모 모델에 대한 계산 가능성을 유지하면서도 비디오 예측 분야에서 최신 기술 수준의 성능 달성하기.

제안 방법

• DVD-GAN-FP의 이전 설계보다 수렴 속도와 성능을 향상시키는 새로운 판별기 분해 기법 제안.
• 운동 유사 특징을 예측하여 이전 은닉 상태를 워핑하는 변환 기반 공간 순환 유닛(TSRU) 도입.
• 장면에서 막힘 해제 또는 새로 보이는 영역에 대해 새로운 특징을 생성함으로써 워핑된 특징를 보완.
• 요소별 연결과 컨볼루션 게이팅을 통해 워핑된 특징 스트림과 생성된 특징 스트림을 융합.
• 전체 동적 컨볼루션 대비 파rameter 및 계산 비용을 줄이기 위해 TSRU에서 동적, 디프스와이즈, 국소 연결 컨볼루션 사용.
• TSRU를 DVD-GAN-FP 아키텍처에 통합하여 다중 해상도 블록에 걸쳐 잔차 연결을 통해 통합.

실험 결과

연구 질문

• RQ1 판별기 아키텍처 분해 방식이 대규모 비디오 예측에서 수렴 속도와 비디오 품질에 어떤 영향을 미치는가?
• RQ2 운동 기반 워핑과 직접적 특징 생성을 결합한 순환 유닛이 비디오 예측에서 표준 순환 유닛을 능가할 수 있는가?
• RQ3 대규모 환경에서 동적 ConvLSTM와 비교해 본다면, 제안된 TSRU의 계산 비용과 성능 간 상호 교환 관계는 어떠한가?
• RQ4 변환 기반 모듈의 통합이 다양한 장면 역학에서 일반화 능력과 현실성 향상에 기여하는가?
• RQ5 제안된 아키텍처는 이전 SOTA 방법 대비 Kinetics-600에서 Fréchet Video Distance(FVD)를 얼마나 감소시킬 수 있는가?

주요 결과

• 제안된 판별기 아키텍처는 Kinetics-600 데이터셋에서 이전 설계 대비 더 빠른 수렴과 향상된 비디오 품질을 달성한다.
• TSRU 순환 유닛은 정량적 및 정성적 평가에서 모두 표준 순환 유닛(예: ConvGRU, Dynamic ConvLSTM)을 뛰어넘는 일관된 성능을 보인다.
• TSRU의 계산 효율성 덕분에 대규모 훈련이 가능하며, 배치 크기가 512일 때 추론 시간은 354ms/스텝으로, Dynamic ConvLSTM의 6.385s 대비 현저히 감소한다.
• 최종 모델은 Kinetics-600에서 Fréchet Video Distance(FVD)가 25.7로 기록되어 이전 SOTA의 69.2에서 크게 향상되었다.
• 정성적 결과에서는 매우 현실적인 운동 패tern과 타당한 장면 전환을 보이며, 막힘 해제 및 카메라 움직임 처리까지 잘 수행된다.
• 제거 실험 결과, 판별기 개선과 TSRU 모두 최종 성능 향상에 상당한 기여를 한다는 것이 확인되었다.