[논문 리뷰] Measuring the Quality of Text-to-Video Model Outputs: Metrics and Dataset

Iya Chivileva, Philip Lynch외 2명|arXiv (Cornell University)|2023. 09. 14.

Video Analysis and SummarizationComputer Science인용 수 3

한 줄 요약

이 논문은 5개의 최신 텍스트-비디오(T2V) 모델이 생성한 1,005개의 비디오로 구성된 새로운 오픈 데이터셋을 활용해 T2V 모델 출력 품질을 평가한다. 자동화된 메트릭(이н셉션 스코어, 프리셰트 비디오 거리, CLIPSim, T2V-CL)을 인간 평가 결과(비디오 자연스러움 및 텍스트-비디오 의미적 일치도)와 비교하여, 메트릭이 인간 판단과 중간 정도의 일관성을 보이지만, 어떤 한 메트릭도 품질을 완전히 포괄하지 못하며, 신뢰할 수 있는 평가를 위해서는 인간 평가가 여전히 필수적임을 밝혀낸다.

ABSTRACT

Evaluating the quality of videos generated from text-to-video (T2V) models is important if they are to produce plausible outputs that convince a viewer of their authenticity. We examine some of the metrics used in this area and highlight their limitations. The paper presents a dataset of more than 1,000 generated videos from 5 very recent T2V models on which some of those commonly used quality metrics are applied. We also include extensive human quality evaluations on those videos, allowing the relative strengths and weaknesses of metrics, including human assessment, to be compared. The contribution is an assessment of commonly used quality metrics, and a comparison of their performances and the performance of human evaluations on an open dataset of T2V videos. Our conclusion is that naturalness and semantic matching with the text prompt used to generate the T2V output are important but there is no single measure to capture these subtleties in assessing T2V model output.

연구 동기 및 목표

• 자동화된 메트릭이 텍스트-비디오(T2V) 모델 출력을 평가하는 데 있어 신뢰성 있는지 평가하는 것.
• Inception Score, Fréchet Video Distance, CLIPSim와 같은 기존 메트릭의 T2V 생성에 대한 한계를 규명하는 것.
• 1,005개의 T2V 비디오, 관련 프롬프트, 인간 애너테이션을 포함한 공개 가능한 데이터셋을 제공하는 것.
• 인간 평가를 통한 비디오 자연스러움과 의미적 일치도를 자동화된 메트릭과 비교하여 각각의 강점과 약점을 파악하는 것.
• 자동화된 메트릭이 T2V 모델 평가에서 비용이 많이 드는 인간 평가에 대한 의존도를 줄일 수 있는지 확인하는 것.

제안 방법

• 최근의 오픈소스 T2V 모델 5종(Aphantasia, Text2Video-Zero, T2VSynthesis, Tune-a-Video, VideoFusion)에서 1,005개의 비디오를 수집하였다.
• 4개의 자동화된 메트릭(Inception Score, Fréchet Video Distance(FVD), CLIPSim, 이전 T2I 작업에서 유사한 T2V-CL 메트릭의 재현 버전)을 적용하였다.
• 비디오 자연스러움(인식)과 입력 프롬프트와의 일치도(일치도)를 평가하기 위해 수정된 MOS(Mean Opinion Score) 프레임워크를 사용해 인간 평가를 수행하였다.
• 비교 가능성을 확보하기 위해 인간 평가 점수를 z-점수 정규화 및 재스케일링 처리하였으며, 최종 인간 평가 점수는 조정된 일치도 점수와 인식 점수의 평균으로 계산하였다.
• 모델 간 인간 평가 점수의 유의미한 차이를 분석하기 위해 Tukey HSD 검정을 실시하였다.
• 프롬프트 길이가 비디오 품질에 미치는 영향을 분석하기 위해, 다양한 프롬프트 길이에 따른 조정된 MOS 점수를 비교하였다.

(a) Poor Quality Images from [ 2 ]

실험 결과

연구 질문

• RQ1 FVD, CLIPSim, 인셉션 스코어와 같은 자동화된 메트릭이 T2V 비디오 품질에 대한 인간 평가와 얼마나 잘 상관되는가?
• RQ2 자동화된 메트릭이 비디오 자연스러움과 입력 프롬프트와의 의미적 일치도를 어느 정도 잘 포착하는가?
• RQ3 인간 평가 기준으로 가장 우수한 성능을 보인 T2V 모델은 무엇이며, 이는 자동화된 메트릭 순위와 어떻게 다를까?
• RQ4 프롬프트 길이가 생성된 T2V 비디오의 인식 품질에 유의미하게 영향을 미치는가?
• RQ5 자동화된 메트릭이 T2V 모델 평가에서 인간 평가를 신뢰성 있게 대체할 수 있는가?

주요 결과

• 인간 평가 결과, Text2Video-Zero가 자연스러움과 일치도 모두 가장 높은 품질의 비디오를 생성하였으며, 그 다음으로 Tune-a-Video, VideoFusion, T2VSynthesis가 뒤를 이었고, Aphantasia가 가장 열악한 성능을 보였다.
• Aphantasia는 가장 낮은 인간 평가 점수를 기록했으며, 평균 인식 점수는 3.221, 일치도 점수는 4.016였고, 다른 모델들과 비교해 유의미하게 낮았다(p < 0.05, Tukey HSD 검정).
• Text2Video-Zero는 인간 평가 점수 0.619를 기록했고, Aphantasia는 0.362를 기록하여 모델 간 성능 격차가 뚜렷하다는 것을 시사한다.
• T2V-CL 메트릭은 다른 메트릭과 일관된 순위를 보였지만, Tune-a-Video만은 인간 평가보다 높은 순위를 기록했는데, 이는 캐릭터 스타일이 애니메이션에 가까워 자연스러움 분류기의 보정이 잘 되어 있지 않아 발생한 현상이었다.
• 짧은 프롬프트가 일관되게 더 높은 품질의 출력을 만들어내었으며, 프롬프트 길이가 짧아질수록 일치도 및 인식 점수가 향상되었다.
• 어느 한 자동화된 메트릭도 비디오 품질의 미묘한 특징을 완전히 포착하지 못했다. 메트릭은 인간 평가와 중간 정도의 상관관계를 보였지만, 특히 Tune-a-Video처럼 스타일이 뚜렷한 모델의 경우 여전히 격차가 존재했다.

(b) CLIPSim Error