[论文解读] AGAV-Rater: Adapting Large Multimodal Model for AI-Generated Audio-Visual Quality Assessment

Yuqin Cao, Xiongkuo Min+3 more|ArXiv.org|Jan 30, 2025

Noise Effects and Management被引用 4

一句话总结

论文提出 AGAV-Rater，这是一个基于 LMM 的模型，在多个维度上对 AI 生成的音视频内容进行评分，并从 AGAVQA 数据集中选择最佳 AGAV。

ABSTRACT

Many video-to-audio (VTA) methods have been proposed for dubbing silent AI-generated videos. An efficient quality assessment method for AI-generated audio-visual content (AGAV) is crucial for ensuring audio-visual quality. Existing audio-visual quality assessment methods struggle with unique distortions in AGAVs, such as unrealistic and inconsistent elements. To address this, we introduce AGAVQA-3k, the first large-scale AGAV quality assessment dataset, comprising $3,382$ AGAVs from $16$ VTA methods. AGAVQA-3k includes two subsets: AGAVQA-MOS, which provides multi-dimensional scores for audio quality, content consistency, and overall quality, and AGAVQA-Pair, designed for optimal AGAV pair selection. We further propose AGAV-Rater, a LMM-based model that can score AGAVs, as well as audio and music generated from text, across multiple dimensions, and selects the best AGAV generated by VTA methods to present to the user. AGAV-Rater achieves state-of-the-art performance on AGAVQA-3k, Text-to-Audio, and Text-to-Music datasets. Subjective tests also confirm that AGAV-Rater enhances VTA performance and user experience. The dataset and code is available at https://github.com/charlotte9524/AGAV-Rater.

研究动机与目标

• 由于 AI 生成的音视频内容（AGAV）存在独特失真，需要自动化的 AGAV 质量评估以提高效率与一致性。
• 创建 AGAVQA，这是一个具有多维 MOS 与最佳 AGAV 对标签的大规模 AGAV 质量评估数据集。
• 开发 AGAV-Rater，一个基于 LMM 的模型，能够为 AGAV、TTA 与 TTM 预测多维分数。
• 展示 AGAV-Rater 的前沿性能及在选择更高质量 AGAV 输出方面的实用性。

提出的方法

• 用两个子集构建 AGAVQA：AGAVQA-MOS（用于多维 MOS）和 AGAVQA-Pair（用于最佳 AGAV 对的选择）。
• 在来自音频字幕数据集（VGGSound、AudioCaps、MusicCaps）的 50,952 对指令-响应对上进行文本定义标签（excellent/bad）的预训练。
• 在三 个维度（音频质量、内容一致性、整体质量）上对人工标注的 MOS 进行微调。
• 采用两阶段训练：先在文本定义等级上进行预训练，再在 MOS 数据上通过数值分数（PLCC 损失）进行微调。
• 以 VideoLLaMA2 架构为基础，具备独立的视频/音频编码器、映射到共享空间的投影，以及与文本提示整合以实现多模态评估。
• 使用 SRCC、KRCC、PLCC、RMSE 在 AGAVQA-MOS、TTA、TTM 数据集上进行评估。

实验结果

研究问题

• RQ1 能否让 LMM 适应输出 AGAV 内容的数值化多维质量分数？
• RQ2 预训练的 AGAV-Rater 是否能在未见过的 AGAV 内容和 VTA 方法上实现泛化？
• RQ3 哪种训练策略（文本定义等级的预训练 vs. 直接 MOS 微调）在多维评分准确性上表现更好？
• RQ4 在真实 VTA 应用中，AGAV-Rater 是否能提升最佳 AGAV 输出的选择？

主要发现

• AGAV-Rater 在 AGAVQA-MOS、Text-to-Audio（TTA）和 Text-to-Music（TTM）数据集上实现了最新性能。
• 在较小的数据集（TTA 与 TTM）上，使用文本定义等级进行预训练显著提升性能。
• 多维指令通过利用音频质量与内容一致性信号，提升了整体 A/V 质量预测。
• AGAV-Rater 展现出强大的跨数据集泛化能力，在 AGAVQA-Pair 选择任务上超过开源与闭源 LMM。
• 主观实验表明 AGAV-Rater 有助于选择更高质量的 AGAV，提升用户体验（如 ElevenLabs 增强测试中的 80% 偏好率）。