[논문 리뷰] Revisiting Hierarchical Approach for Persistent Long-Term Video Prediction

Wonkwang Lee, Whie Jung외 7명|arXiv (Cornell University)|2021. 04. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 53인용 수 13

한 줄 요약

이 논문은 먼저 확률적 순환 모델을 사용해 장기적인 의미적 레이블 맵을 생성하고, 이를 바탕으로 비디오-투-비디오 번역을 통해 고해상도 RGB 프레임으로 변환하는 계층적 비디오 예측 프레임워크를 제안한다. 이 방법은 구조와 외관 모델링을 분리함으로써 기존 방법에 비해 지속성과 시각적 품질 면에서 뛰어나게 장기적인 비디오 예측(수천 프레임 이상)을 달성한다. 운전 및 춤추는 비디오 벤치마크에서 높은 성능을 보였다.

ABSTRACT

Learning to predict the long-term future of video frames is notoriously challenging due to inherent ambiguities in the distant future and dramatic amplifications of prediction error through time. Despite the recent advances in the literature, existing approaches are limited to moderately short-term prediction (less than a few seconds), while extrapolating it to a longer future quickly leads to destruction in structure and content. In this work, we revisit hierarchical models in video prediction. Our method predicts future frames by first estimating a sequence of semantic structures and subsequently translating the structures to pixels by video-to-video translation. Despite the simplicity, we show that modeling structures and their dynamics in the discrete semantic structure space with a stochastic recurrent estimator leads to surprisingly successful long-term prediction. We evaluate our method on three challenging datasets involving car driving and human dancing, and demonstrate that it can generate complicated scene structures and motions over a very long time horizon (i.e., thousands frames), setting a new standard of video prediction with orders of magnitude longer prediction time than existing approaches. Full videos and codes are available at https://1konny.github.io/HVP/.

연구 동기 및 목표

• 오랜 기간에 걸쳐 누적 오차로 인해 프레임 품질이 악화되는 문제를 해결하기 위해 장기적인 지속적 비디오 예측에 도전한다.
• 기존 방법들이 픽셀 수준의 순차적 생성에서 오차 전파로 인해 몇 초가 넘지 못하는 한계를 극복한다.
• 이산적 의미 구조를 갖는 계층적 모델링이 복잡한 시나리오에서 안정적인 장기 예측 생성을 가능하게 한다는 것을 입증한다.
• 지속적인 예측을 달성하기 위해 확률적 추정, 순환성, 이산화, 분리된 구조-외관 모델링의 중요성을 검증한다.
• 지속적인 예측 품질 평가를 위해 지도 없이도 가능한 새로운 평가 지표인 shot-wise FVD를 도입한다.

제안 방법

• 입력 프레임에서 밀도 있는 분류 레이블 맵을 추출하기 위해 사전에 훈련된 의미 분할 네트워크를 사용하여 픽셀 수준의 장면 의미를 표현한다.
• 확률적 순환 변동형 시퀀스 모델이 이산적 의미 공간 내의 시간 동적 특성을 모델링함으로써 미래의 레이블 맵을 예측하며, 다중 모달 미래 생성을 가능하게 한다.
• 예측된 레이블 맵은 조건부 이미지 생성기(비디오-투-비디오 번역)를 사용해 RGB 프레임으로 변환되며, 구조 예측과 픽셀 수준의 생성을 분리한다.
• 아키텍처는 이미지 생성기로의 오차 전파를 방지하기 위해, 구조 예측을 픽셀 수준의 생성과 별도로 전개함으로써 오차 격리 원칙을 강제한다.
• 연속적 로짓 공간이 아닌 이산화된 레이블 예측을 사용함으로써 장기 예측의 안정성을 높이고 시간적 비일치에 대한 민감도를 감소시킨다.
• 지속적인 장기 시공간 품질 평가를 위해 클립 단위로 비디오 클립을 비교함으로써 지도 없이도 가능한 새로운 평가 지표인 shot-wise FVD를 도입한다.

실험 결과

연구 질문

• RQ1 이산적 의미 구조 모델링을 갖는 계층적 비디오 예측 모델이 순차적 픽셀 수준 모델의 한계를 넘어서 장기 예측을 지속적으로 수행할 수 있는가?
• RQ2 의미 공간에서의 확률적 추정이 결정론적 접근에 비해 장기 예측 성능을 어떻게 향상시키는가?
• RQ3 의미 레이블 공간에서의 순환성과 이산화가 장기적 안정성과 시각적 품질에 어떤 영향을 미치는가?
• RQ4 구조 예측과 픽셀 수준의 생성을 분리함으로써 오차 누적이 방지되고 안정적인 장기 예측이 가능해지는가?
• RQ5 지도 없이도 장기 예측 품질을 신뢰성 있게 평가할 수 있는 shot-wise FVD와 같은 새로운 평가 지표가 유의미한가?

주요 결과

• 제안된 방법은 기존 방법들이 일반적으로 몇 초 내로 끝나는 것과는 달리, 10,000 프레임이 넘는 시각적으로 유사하고 구조적으로 타당한 비디오 시퀀스를 생성한다.
• 확률적 추정은 다중 모달 미래 예측과 局부 최소값 회피를 가능하게 하여 장기 예측 성능을 크게 향상시키며, 이는 더 우수한 shot-wise FVD 점수로 입증된다.
• 순환 모델링(LSTM)은 단기 및 중기 예측 모두에서 피드포워드(CNN)보다 우수한 성능을 보이며, 구조의 시간 역학을 이해하기 위해 시간 기억의 중요성을 시사한다.
• 예측된 레이블 맵의 이산화가 핵심적이다: 연속적 로짓 공간에서 전개하는 모델(SVG_soft)이나 RGB 공간에서 전개하는 모델(SVG_rgbprop)은 빠르게 성능이 저하되며, 장기 예측에서의 불안정성을 보여준다.
• 제거 분석 결과, 구조 예측과 이미지 번역을 분리한 계층적 설계가 오차 전파를 방지하고 지속적인 예측을 가능하게 한다는 점을 확인한다.
• 제안된 shot-wise FVD 지표는 인간의 인지와 잘 일치하며, 지도 없이도 장기 예측의 스케일러블 평가를 가능하게 한다.