[논문 리뷰] VBench: Comprehensive Benchmark Suite for Video Generative Models

Ziqi Huang, Yinan He외 14명|arXiv (Cornell University)|2023. 11. 29.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

VBench는 영상 생성 모델을 위한 종합적이고 계층적인 벤치마크 세트를 도입하며, 영상 품질을 운동의 부드러움, 주체 정체성 일관성, 공간적 관계 등 16개의 분리된 차원으로 분해하여 평가한다. 각 차원은 맞춤형 프롬프트와 자동화된 메트릭을 통해 평가되며, 인간의 선호도와 강한 일치를 보이며 다양한 콘텐츠 유형에서 모델의 특수한 강점과 약점을 드러내어 향후 영상 생성 연구에 실질적인 통찰을 제공한다.

ABSTRACT

Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human perceptions; 2) An ideal evaluation system should provide insights to inform future developments of video generation. To this end, we present VBench, a comprehensive benchmark suite that dissects "video generation quality" into specific, hierarchical, and disentangled dimensions, each with tailored prompts and evaluation methods. VBench has three appealing properties: 1) Comprehensive Dimensions: VBench comprises 16 dimensions in video generation (e.g., subject identity inconsistency, motion smoothness, temporal flickering, and spatial relationship, etc). The evaluation metrics with fine-grained levels reveal individual models' strengths and weaknesses. 2) Human Alignment: We also provide a dataset of human preference annotations to validate our benchmarks' alignment with human perception, for each evaluation dimension respectively. 3) Valuable Insights: We look into current models' ability across various evaluation dimensions, and various content types. We also investigate the gaps between video and image generation models. We will open-source VBench, including all prompts, evaluation methods, generated videos, and human preference annotations, and also include more video generation models in VBench to drive forward the field of video generation.

연구 동기 및 목표

• 영상 생성 모델에 대한 종합적이고 인간 기준에 부합하는 평가 프레임워크의 부족을 해결하기 위해.
• 기존 메트릭(예: FID, IS)이 인간의 인지와 잘 일치하지 않는 한계를 극복하기 위해.
• 영상 품질과 일관성의 여러 차원에 걸쳐 세분화되고 분리된 평가를 제공하기 위해.
• 다양한 콘텐츠 유형과 작업에 걸쳐 영상 생성 모델 간의 체계적 비교를 가능하게 하기 위해.
• 모델의 특수한 강점, 약점, 영상과 이미지 생성 능력 간 격차를 파악하여 향후 모델 개발을 이끄는 데 기여하기 위해.

제안 방법

• 영상 품질과 영상 조건 일관성이라는 두 가지 주요 카테고리에 속하는 16개의 고유한 차원으로 구성된 계층적이고 분리된 평가 차원 세트를 설계하기 위해.
• 각 차원당 약 100개의 텍스트 프롬프트를 제작하여 다양한 영상 생성 모델에서 테스트 영상을 생성하기 위해.
• 각 차원에 맞는 전문화된 평가 방법을 개발하여 자동화된 파이프라인과 메트릭 전용 점수 기반 평가 메커니즘을 구현하기 위해.
• 인간의 선호도 평가를 위해 각 평가 차원에 대한 인간 선호도 애너테이션을 수집하여 인간 인지와의 일치도를 검증하기 위해.
• 8개의 콘텐츠 카테고리(예: 인간, 동물, 건축물)를 대상으로 평가하여 콘텐츠 유형에 따른 성능 변동성을 분석하기 위해.
• 모델 간 결과를 정규화하고 시각화하여 비교 분석과 통찰 추출을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 기존의 영상 생성 메트릭은 인간이 인지하는 영상 품질과 어느 정도 일치하는가?
• RQ2 운동의 부드러움, 정체성 일관성, 공간적 관계 정확도와 같은 세분화된 차원에서 다양한 영상 생성 모델의 성능은 어떻게 다른가?
• RQ3 핵심 평가 차원에서 영상 생성 모델과 이미지 생성 모델 간의 성능 격차는 무엇인가?
• RQ4 다른 콘텐츠 카테고리(예: 인간 대비 건축물)에서 모델 성능은 어떻게 변하는가?
• RQ5 자동화된 벤치마크 점수와 인간 선호도 애너테이션 간 격차에서 도출할 수 있는 통찰은 무엇인가?

주요 결과

• VBench 평가 결과, 모든 16개 차원에서 인간 선호도 애너테이션과 강한 상관관계(ρ ≈ 0.75–0.85)를 보이며 높은 인간 기준 일치도를 확인하였다.
• 운동의 부드러움과 주체 정체성 일관성은 가장 도전적인 차원으로, 많은 모델에서 장시간 영상 시퀀스에서 심각한 품질 저하가 관찰되었다.
• 정적 콘텐츠(예: 건축물, 풍경)에서는 동적 콘텐츠(예: 인간, 동물)보다 높은 성능을 보이며, 인간 카테고리 영상에서 동적 특성이 가장 높았다.
• 주체 정체성 및 공간 일관성과 같은 차원에서 영상 생성 모델는 이미지 생성 모델에 비해 일관되게 열등한 성능을 보이며, 시간적 모델링 측면에서 중요한 격차가 있음을 드러냈다.
• 평가 결과, WebVid-10M에서 훈련된 모델들은 분포 편향을 보이며, 콘텐츠 카테고리에 따라 미적 점수와 데이터 양의 차이가 뚜렷하게 나타났다.
• 이 벤치마크는 특정 모델의 약점을 성공적으로 파악하였으며, 예를 들어 일부 디퓨전 기반 모델에서 관찰된 시간적 플리커링을 식별하여 체계적인 아키텍처 및 훈련 개선을 가능하게 하였다.