[論文レビュー] Measuring the Quality of Text-to-Video Model Outputs: Metrics and Dataset

Iya Chivileva, Philip Lynch+2 more|arXiv (Cornell University)|Sep 14, 2023

Video Analysis and SummarizationComputer Science被引用数 3

ひとこと要約

この論文は、5つの最先端のT2Vモデルが生成した1,005本の動画から構成される新しいオープンデータセットを用いて、テキストから動画への変換（T2V）モデルの出力品質を評価している。自動化された指標（Inceptionスコア、Fréchet動画距離、CLIPSim、T2V-CL）と人間による動画の自然さとテキスト・動画の意味的整合性の評価を比較したところ、指標は人間の判断と中程度の整合性を示すものの、1つの指標が品質を完全に捉えておらず、信頼できる評価には人間の評価が依然として不可欠であることがわかった。

ABSTRACT

Evaluating the quality of videos generated from text-to-video (T2V) models is important if they are to produce plausible outputs that convince a viewer of their authenticity. We examine some of the metrics used in this area and highlight their limitations. The paper presents a dataset of more than 1,000 generated videos from 5 very recent T2V models on which some of those commonly used quality metrics are applied. We also include extensive human quality evaluations on those videos, allowing the relative strengths and weaknesses of metrics, including human assessment, to be compared. The contribution is an assessment of commonly used quality metrics, and a comparison of their performances and the performance of human evaluations on an open dataset of T2V videos. Our conclusion is that naturalness and semantic matching with the text prompt used to generate the T2V output are important but there is no single measure to capture these subtleties in assessing T2V model output.

研究の動機と目的

• 自動指標がテキストから動画への変換（T2V）モデル出力の評価においてどれほど信頼できるかを評価すること。
• Inceptionスコア、Fréchet動画距離、CLIPSimといった既存の指標がT2V生成において抱える限界を特定すること。
• 関連するプロンプトと人間のアノテーションを併記した、1,005本のT2V動画からなる公開可能なデータセットを提供すること。
• 人間による動画の自然さと意味的整合性の評価を自動指標と比較し、それぞれの強みと弱みを特定すること。
• 自動指標がT2Vモデル評価における高コストな人間評価に代わる可能性を検証すること。

提案手法

• Aphantasia、Text2Video-Zero、T2VSynthesis、Tune-a-Video、VideoFusionの5つの最近のオープンソースT2Vモデルから1,005本の動画を収集した。
• 4つの自動指標（Inceptionスコア、Fréchet動画距離（FVD）、CLIPSim、および先行T2I研究からのT2V-CL指標の再現版）を適用した。
• 動画の自然さ（知覚）と入力プロンプトとの整合性（整合性）を評価するため、修正されたMOS（平均意見スコア）フレームワークを用いて人間評価を実施した。
• 比較可能性を確保するため、人間のスコアをzスコア標準化および再スケーリングし、最終的な人間スコアは調整済みの整合性スコアと知覚スコアの平均値として算出した。
• モデル間での人間評価スコアの有意差を検出するためにTukey HSD検定を実施した。
• プロンプト長が動画品質に与える影響を、異なるプロンプト長における調整済みMOSスコアを比較することで分析した。

(a) Poor Quality Images from [ 2 ]

実験結果

リサーチクエスチョン

• RQ1 FVD、CLIPSim、Inceptionスコアといった自動指標は、T2V動画品質の人間評価とどの程度相関しているか？
• RQ2 自動指標は、動画の自然さと入力プロンプトとの意味的整合性をどの程度適切に捉えているか？
• RQ3 人間評価において最も優れた性能を示したT2Vモデルは何か？ また、その順位は自動指標の順位とどう異なるか？
• RQ4 プロンプト長が生成動画の認識品質に顕著な影響を与えるか？
• RQ5 自動指標は、T2Vモデル評価において人間評価を信頼できる形で代替できるか？

主な発見

• 人間評価では、Text2Video-Zeroが自然さと整合性の両面で最高品質の動画を生成しており、次いでTune-a-Video、VideoFusion、T2VSynthesisが続き、Aphantasiaが最も劣った。
• Aphantasiaは人間評価スコアが最低であり、平均知覚スコアは3.221、整合性スコアは4.016で、他のモデルと比べ有意に低かった（Tukey HSD検定でp < 0.05）。
• Text2Video-Zeroは最高の人間評価スコア（0.619）を達成した一方、Aphantasiaは最低（0.362）であり、モデル間の性能差が顕著に現れた。
• T2V-CL指標は他の指標と一貫した順位を示したが、Tune-a-Videoについては人間評価よりも順位が高かった。これは、Tune-a-Videoのコマーシャル風のスタイルが自然さ分類器のキャリブレーションに適していないためである。
• 短いプロンプトは一貫して高品質な出力をもたらし、プロンプト長が短くなるほど整合性と知覚スコアが向上した。
• 1つの自動指標が動画品質の微細な側面を完全に捉えていない。指標は人間評価と中程度の相関を示したが、特にTune-a-Videoのようなスタイルが特徴的なモデルでは乖離が見られた。

(b) CLIPSim Error