[논문 리뷰] Towards Accurate Generative Models of Video: A New Metric & Challenges

Thomas Unterthiner, Sjoerd van Steenkiste외 4명|arXiv (Cornell University)|2018. 12. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 50인용 수 194

한 줄 요약

이 논문은 실재 영상과 생성 영상의 특징 분포 간 거리 측정을 통해 프레임 품질과 시간적 일관성을 모두 반영하는 새로운 평가 지표인 Fréchet Video Distance (FVD)를 소개한다. FVD는 인간 평가와의 일치도에서 기존의 PSNR 및 SSIM과 비교해 뛰어난 성능을 보이며, 장기 기억력과 관계 추론 능력에 대한 한계를 드러내는 새로운 벤치마크인 StarCraft 2 Videos (SCV)에서 검증되었다.

ABSTRACT

Recent advances in deep generative models have lead to remarkable progress in synthesizing high quality images. Following their successful application in image processing and representation learning, an important next step is to consider videos. Learning generative models of video is a much harder task, requiring a model to capture the temporal dynamics of a scene, in addition to the visual presentation of objects. While recent attempts at formulating generative models of video have had some success, current progress is hampered by (1) the lack of qualitative metrics that consider visual quality, temporal coherence, and diversity of samples, and (2) the wide gap between purely synthetic video data sets and challenging real-world data sets in terms of complexity. To this extent we propose Fr\'{e}chet Video Distance (FVD), a new metric for generative models of video, and StarCraft 2 Videos (SCV), a benchmark of game play from custom starcraft 2 scenarios that challenge the current capabilities of generative models of video. We contribute a large-scale human study, which confirms that FVD correlates well with qualitative human judgment of generated videos, and provide initial benchmark results on SCV.

연구 동기 및 목표

• 영상 생성에서 시각적 품질, 시간적 일관성, 샘플 다양성 전반을 평가할 수 있는 종합적인 평가 지표 부족 문제를 해결하기 위해.
• 프레임 수준 비교가 아닌 전체 영상 분포 기반으로 작동하는 지표를 개발하기 위해.
• 장기 기억력과 관계 추론 능력을 테스트하는 영상 생성을 위한 벤치마크 데이터셋인 StarCraft 2 Videos (SCV)를 도입하기 위해.
• 대규모 인간 평가 연구를 통해 FVD가 인간 인식과 얼마나 잘 상관되는지 검증하기 위해.
• FVD를 사용해 여러 데이터셋에서 최신 기술 모델들을 종합적으로 평가하기 위해.

제안 방법

• 3D 컨볼루션 네트워크를 사용해 영상 클립에서 시공간적 특징을 추출함으로써 Fréchet Inception Distance (FID)의 영상 버전인 Fréchet Video Distance (FVD)를 제안한다.
• 실제 영상 특징과 생성 영상 특징의 다변량 정규분포 간의 Fréchet 거리를 계산하여, 프레임 수준의 품질과 시간적 동역학을 모두 포괄한다.
• 영상 클립을 고차원 임베딩으로 인코딩하기 위해 사전 학습된 Inflated 3D ConvNet (I3D)를 특징 추출기로 활용한다.
• 실재 영상에 노이즈를 추가하여 FVD 변화를 측정함으로써 FVD의 시간적 및 프레임 수준의 변화에 대한 민감도를 검증한다.
• 여러 모델과 데이터셋에서 20,000개의 영상 샘플을 대상으로 한 대규모 인간 평가 연구를 수행하여 FVD와 인간 인식 간 상관관계를 분석한다.
• 관계 추론과 장기 수평 기억 능력을 요구하는 4종의 커스터마이징된 StarCraft 2 시나리오로 구성된 확장 가능한 벤치마크인 StarCraft 2 Videos (SCV)를 도입한다.

실험 결과

연구 질문

• RQ1 FVD는 인간이 평가하는 영상 품질과 비교해 PSNR 및 SSIM보다 얼마나 잘 일치하는가?
• RQ2 FVD는 생성 영상의 프레임 수준 및 시간적 아티팩트를 탐지할 수 있는가?
• RQ3 현재 최신 기술 영상 생성 모델들이 복잡한 장기 수평 영상 생성 작업에서 어느 정도 실패하는가?
• RQ4 다양한 벤치마크(예: BAIR, KTH, SCV)에서 서로 다른 영상 생성 모델의 성능은 어떻게 다른가?
• RQ5 실제 영상이 없는 무조건적 영상 생성 작업에서 FVD가 신뢰할 수 있는 객관적 평가 지표로 기능할 수 있는가?

주요 결과

• FVD는 인간 평가와 통계적으로 유의미한 음의 상관관계를 보이며, 인간 인식과의 일치도에서 SSIM 및 PSNR를 뛰어넘었다 (r = -0.640, τ = -0.189).
• 노이즈 주입 실험을 통해 FVD는 시간적 및 프레임 수준의 변화에 민감하게 반응하는 것으로 확인되었다.
• SCV 벤치마크에서 RTwM 시나리오에 대해 어떤 모델도 정확한 장기 시퀀스를 생성하지 못했으며, 이는 장기 수평 생성 과제에서 해결되지 않은 과제임을 시사한다.
• CMS 시나리오에서는 대부분의 모델이 광물 조각의 정확한 사라짐 순서를 모델링하지 못했으며, 일반적인 사라짐 패턴은 학습했음에도 불구하고.
• BAIR 및 KTH 데이터셋에서 SVP-FP와 SAVP 등의 모델이 가장 낮은 FVD 점수를 기록하여, 시간적 일관성과 시각적 정확도를 잘 구현한 것으로 나타났다.
• 이 연구는 여러 데이터셋에서 3,000개 이상의 모델을 평가하였으며, 100 GPU년 이상의 계산 자원을 소모하여 영상 생성 분야에 종합적인 벤치마크를 구축하였다.