[논문 리뷰] Photo-Realistic Video Prediction on Natural Videos of Largely Changing Frames

Osamu Shouno|arXiv (Cornell University)|2020. 03. 19.

Advanced Image Processing Techniques참고 문헌 35인용 수 24

한 줄 요약

이 논문은 대규모 카메라 운동 상황에서도 사진처럼 생생한 미래 프레임을 생성하기 위해 적대적 손실과 인지적 손실을 통합한 계층적 잔차 영상 예측 네트워크를 제안한다. 상향식 연결을 통해 다중 해상도 예측을 융합하고, VGG 및 MAE 손실을 최적화함으로써 자연 주행 영상에서 다음 프레임 및 다중 단계 예측 모두에서 인지적 품질(LPIPS)과 선명도 측면에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recent advances in deep learning have significantly improved performance of video prediction. However, state-of-the-art methods still suffer from blurriness and distortions in their future predictions, especially when there are large motions between frames. To address these issues, we propose a deep residual network with the hierarchical architecture where each layer makes a prediction of future state at different spatial resolution, and these predictions of different layers are merged via top-down connections to generate future frames. We trained our model with adversarial and perceptual loss functions, and evaluated it on a natural video dataset captured by car-mounted cameras. Our model quantitatively outperforms state-of-the-art baselines in future frame prediction on video sequences of both largely and slightly changing frames. Furthermore, our model generates future frames with finer details and textures that are perceptually more realistic than the baselines, especially under fast camera motions.

연구 동기 및 목표

• 비지도 영상 예측에서 대규모 카메라 운동 상황에서 지속적으로 발생하는 흐림과 왜곡 문제를 해결하기 위해.
• 적대적 손실과 인지적 손실 함수를 조합하여 미래 프레임 생성의 인지적 현실감을 향상시키기 위해.
• 다중 해상도에서 시공간 동역학을 모델링할 수 있도록 계층적 잔차 네트워크 아키텍처를 설계하기 위해.
• 고주파 성분 모델링을 강화함으로써 반복적 다중 단계 예측에서 오차 누적 문제를 줄이기 위해.
• 특히 VGG 및 MAE 손실 조합의 효과를 분석하여 영상 예측 품질에 미치는 영향을 조사하기 위해.

제안 방법

• 각 레이어가 다른 공간 해상도에서 미래 프레임을 예측하는 계층적 아키텍처를 갖춘 깊은 잔차 네트워크를 제안한다.
• 상향식 스케일 연결을 사용하여 다양한 해상도의 예측을 융합함으로써 고해상도 특징의 정밀 조정을 가능하게 한다.
• 실제성 향상을 위해 적대적 손실을 사용하는 GAN 프레임워크에서 생성자 모델을 엔드 투 엔드로 훈련시킨다.
• 사전 훈련된 VGG 네트워크의 특징을 기반으로 한 인지적 손실을 도입하여 질감과 세부 정보를 유지한다.
• 픽셀 수준 정확성과 인지적 품질을 균형 잡기 위해 평균 절대 오차(MAE) 손실을 VGG 및 적대적 손실과 융합한다.
• 다양한 해상도에서의 생성 품질 향상을 위해 GAN 설정에서 다중 해상도 판별자 모델을 활용한다.

실험 결과

연구 질문

• RQ1 대규모 카메라 운동 상황에서 계층적 잔차 네트워크 아키텍처가 영상 예측 품질 향상에 기여하는가?
• RQ2 적대적 손실과 인지적 손실이 영상 예측에서 흐림을 줄이고 질감 세부 정보를 향상시키는 데 얼마나 효과적인가?
• RQ3 VGG와 MAE 손실을 조합하면 단독으로 사용할 경우보다 더 나은 인지적 품질을 제공하는가?
• RQ4 기존 기준 대비 반복적 다중 단계 예측에서 모델의 성능은 어떠한가?
• RQ5 사진처럼 생생한 프레임 생성에 있어 적대적 손실과 인지적 손실 간의 상대적 기여도는 어떠한가?

주요 결과

• G-VGG 모델은 LPIPS 점수 측면에서 Caltech Pedestrian 데이터셋에서 새로운 최신 기술 수준(SOTA)을 달성하였으며, GAN-VGG를 略로 초월한다.
• GAN-VGG 및 G-VGG는 기존 기준 대비 뚜렷하게 흐림을 줄이고 질감 세부 정보를 향상시키며, 특히 빠른 카메라 운동 상황에서 두드러진다.
• VGG 및 MAE 손실의 조합(GAN-VGG, G-VGG)이 가장 뛰어난 인지적 품질을 제공함을 확인하였으며, 더 낮은 LPIPS 점수와 더 선명한 시각적 결과로 입증되었다.
• 적대적 손실은 특히 장거리 시퀀스에서 왜곡을 줄이는 데 기여하여 다중 단계 예측 성능을 더욱 향상시킨다.
• VGG 손실이 없는 모델(GAN-MAE, G-MAE)은 비슷한 SSIM 점수를 기록함에도 불구하고 더 흐릿한 결과를 생성함을 확인하여, VGG 손실이 인지적 현실감 확보에 필수적임을 시사한다.
• 다중 단계 예측에서 GAN-VGG는 9번째 미래 프레임에서 G-VGG를 능가하는 성능을 보였으며, 이는 적대적 훈련이 장기 예측 생성의 안정성을 향상시킨다는 것을 시사한다.