[논문 리뷰] Towards Accurate Generative Models of Video: A New Metric & Challenges

Thomas Unterthiner, Sjoerd van Steenkiste외 4명|arXiv (Cornell University)|2018. 12. 03.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 시간에 민감한 특징 표현을 사용하여 실재 영상 시퀀스와 생성된 영상 시퀀스 간의 분포 거리 측정을 통해 영상 생성 모델을 평가하는 새로운 메트릭인 프레셰 비디오 거리(Fréchet Video Distance, FVD)를 소개한다. 또한 장기 기억력과 관계 추론 능력을 테스트하기 위해 스타크래프트 2 비디오(SCV) 벤치마크를 제시한다. FVD는 인간 평가와 강한 상관관계를 보이며, 영상 품질, 시간적 일관성, 다양성 평가에서 SSIM 및 PSNR보다 뛰어나다.

ABSTRACT

Recent advances in deep generative models have lead to remarkable progress in synthesizing high quality images. Following their successful application in image processing and representation learning, an important next step is to consider videos. Learning generative models of video is a much harder task, requiring a model to capture the temporal dynamics of a scene, in addition to the visual presentation of objects. While recent attempts at formulating generative models of video have had some success, current progress is hampered by (1) the lack of qualitative metrics that consider visual quality, temporal coherence, and diversity of samples, and (2) the wide gap between purely synthetic video data sets and challenging real-world data sets in terms of complexity. To this extent we propose Fréchet Video Distance (FVD), a new metric for generative models of video, and StarCraft 2 Videos (SCV), a benchmark of game play from custom starcraft 2 scenarios that challenge the current capabilities of generative models of video. We contribute a large-scale human study, which confirms that FVD correlates well with qualitative human judgment of generated videos, and provide initial benchmark results on SCV.

연구 동기 및 목표

• 영상 품질, 시간적 일관성, 샘플 다양성을 고려한 종합적인 평가 메트릭의 부족을 해결하기 위해.
• 기본 영상 시퀀스가 없는 조건에서 작동할 수 있는 메트릭을 개발하여 무조건적 영상 생성의 평가를 가능하게 하기 위해.
• 장기 기억력과 관계 추론과 같은 복잡한 영상 생성 능력을 테스트하기 위한 벤치마크 데이터셋인 스타크래프트 2 비디오(SCV)를 소개하기 위해.
• FVD가 인간의 영상 품질 평가와 상관관계가 있음을 경험적으로 검증하기 위해.
• 다양한 데이터셋과 해상도에서 최신 영상 생성 모델의 대규모 벤치마크 평가를 제공하기 위해.

제안 방법

• FVD는 3차원 합성곱 신경망을 사용하여 영상 클립의 시공간적 특징을 추출함으로써 FID를 영상에 확장하여, 프레임 수준의 품질과 시간적 동역학을 모두 캡처한다.
• 실제 영상 특징과 생성된 영상 특징의 다변량 정규분포 간의 프레셰 거리를 계산함으로써 분포 수준의 비교를 가능하게 한다.
• 노이즈 주입 실험을 통해 FVD가 프레임 수준과 시간적 교란에 민감한 것으로 확인되어, 그 안정성과 분류 능력이 입증된다.
• 수천 개의 영상 샘플을 포함한 대규모 인간 연구를 수행하여 FVD가 인간의 영상 품질 인식과 일치하는지를 검증하였다.
• SCV 벤치마크는 스타크래프트 2 러닝 환경을 사용하여 다양한 복잡도를 가진 수동으로 설계된 게임 시나리오에서 다각도로 확장 가능한 영상 시퀀스를 생성함으로써 구축되었다.
• 다양한 거리 함수와 임bedding을 사용한 FVD 변형에 대한 광범위한 분석 실험을 통해 그 안정성과 민감도를 확인하였다.

실험 결과

연구 질문

• RQ1 FVD는 기존의 프레임 수준 메트릭인 SSIM 및 PSNR와 비교해 인간의 영상 품질 평가와 얼마나 잘 상관되는가?
• RQ2 FVD는 생성된 영상에서 시간적 일관성과 시각적 품질의 실패를 어느 정도 감지할 수 있는가?
• RQ3 기본 영상 시퀀스가 제공되지 않는 무조건적 영상 생성에 대해 FVD가 신뢰할 수 있는 평가 메트릭으로 기능할 수 있는가?
• RQ4 현재 최신 영상 생성 모델들이 SCV 벤치마크에서 나타내는 실패 유형은 무엇인가?
• RQ5 다양한 영상 길이, 해상도, 시나리오 복잡도에서 다른 영상 생성 모델의 성능은 어떻게 다른가?

주요 결과

• FVD는 인간 평가와 강한 음의 상관관계를 보이며, SSIM와의 상관계수 r = -0.640, 켄들 타우 τ = -0.189로 나타나, PSNR 및 SSIM보다 인간 인식과 더 잘 일치함을 확인하였다.
• 노이즈 주입 실험을 통해 FVD는 프레임 수준과 시간적 교란에 민감한 것으로 확인되어, 의미 있는 영상 품질 결함을 탐지할 수 있음을 입증하였다.
• BAIR 및 KTH 데이터셋에서 최고의 모델들(예: SAVP)은 FVD 점수를 100 이하로 기록한 반면, 약한 모델들은 200 이상의 점수를 기록하여 성능 차이를 명확히 드러내었다.
• SCV 벤치마크에서 모든 모델이 CMS 시나리오에서 실패하여 광물 파편의 정확한 소멸 순서를 모델링하지 못했으며, Brawl 지도에서는 흐릿하고 구분이 불명확한 유닛을 생성하였다.
• 최대 32프레임의 생성을 요구하는 RTwM 시나리오는 테스트된 모든 모델에서 성공적으로 모델링되지 않아 현재 영상 생성 모델의 주요 과제임을 시사하였다.
• 이 연구는 수천 개의 모델을 여러 데이터셋에서 평가하였으며, 100개 이상의 GPU년에 달하는 계산 자원을 소비하여 향후 연구를 위한 종합적인 벤치마크를 구축하였다.