[论文解读] Evaluating generative audio systems and their metrics

Ashvala Vinay, Alexander Lerch|arXiv (Cornell University)|Aug 31, 2022

Music and Audio Processing被引用 6

一句话总结

本文通过客观指标和听音测试，评估了三种最先进的神经音频合成模型——DDSP、NSynth 和 DiffWave，发现现有客观指标与感知质量之间缺乏相关性。尽管指标得分优异，听者仍更偏好 DiffWave 而非 DDSP 和 NSynth，表明当前指标在评估生成音频系统的真实世界音频质量方面仍显不足。

ABSTRACT

Recent years have seen considerable advances in audio synthesis with deep generative models. However, the state-of-the-art is very difficult to quantify; different studies often use different evaluation methodologies and different metrics when reporting results, making a direct comparison to other systems difficult if not impossible. Furthermore, the perceptual relevance and meaning of the reported metrics in most cases unknown, prohibiting any conclusive insights with respect to practical usability and audio quality. This paper presents a study that investigates state-of-the-art approaches side-by-side with (i) a set of previously proposed objective metrics for audio reconstruction, and with (ii) a listening study. The results indicate that currently used objective metrics are insufficient to describe the perceptual quality of current systems.

研究动机与目标

• 评估现有客观指标在神经音频合成中的感知相关性。
• 使用一致的评估方法，比较三种领先生成音频模型——DDSP、NSynth 和 DiffWave 的音频质量。
• 探究客观指标是否能可靠预测生成音频系统中的听觉偏好。
• 识别当前评估实践中的局限性，这些局限性阻碍了神经音频合成领域的进展。

提出的方法

• 在 NSynth 数据集上训练了三种广泛使用的神经音频合成器——DDSP、NSynth 和 DiffWave，以进行对比评估。
• 应用了包含 8 项客观指标的综合集合，包括重建误差（MSE、MAE）、多样性度量（NDB/k）以及分布距离度量（IIS、IKID）。
• 组织了一项受控的听音研究，共有 240 名参与者对不同乐器的音频样本进行感知质量评分，并涵盖不同的人口统计群体。
• 计算客观指标得分与听者评分之间的皮尔逊相关系数、斯皮尔曼等级相关系数及决定系数（R²），以评估指标的有效性。
• 使用统计检验（Wilcoxon signed-rank test）评估不同模型之间听者偏好的显著差异。
• 按乐器类别和听者人口统计特征分析评分，以检测感知中的系统性偏差。

实验结果

研究问题

• RQ1 现有的神经音频合成客观指标是否能可靠预测人类听者所判断的感知音频质量？
• RQ2 在受控听音研究中，DDSP、NSynth 和 DiffWave 的感知质量评分如何比较？
• RQ3 生成音频系统的客观指标得分与听者评分之间是否存在显著相关性？
• RQ4 哪一模型在感知质量方面表现最佳？其客观指标排名是否与感知排名一致？
• RQ5 当前的客观指标能否被信任以指导神经音频合成领域的研究进展？

主要发现

• 在客观指标（如 MSE 和 MAE）与听者评分之间未发现统计显著相关性，表明这些指标无法可靠反映感知质量。
• 尽管在客观指标中排名第二，NSynth 在听音研究中的评分显著低于 DDSP 和 DiffWave，其中 163 名（共 240 名）参与者将其评为最低。
• 在 240 次比较中，有 123 次听者更偏好 DiffWave 而非 DDSP，而 DDSP 获得偏好的次数为 99 次，表明 DiffWave 的偏好具有统计显著性（p < 0.05）。
• 客观指标排名（DDSP > DiffWave > NSynth）与听者感知排名不一致，揭示了指标与人类感知之间存在关键脱节。
• IKID 和 IIS 得分表明 DiffWave 优于 DDSP 和 NSynth，这与听音研究结果一致；但其他指标（如 MSE 和 MAE）未能捕捉感知差异。
• 结果表明，当前的客观指标不足以评估音频质量，研究应优先采用具有感知意义的评估方法。