[论文解读] Fréchet Audio Distance: A Metric for Evaluating Music Enhancement Algorithms

Kevin Kilgour, Mauricio Zuluaga+2 more|arXiv (Cornell University)|Dec 20, 2018

Speech and Audio Processing参考文献 21被引用 17

一句话总结

本文提出了一种无需参考信号的音频质量评估指标——弗雷chet音频距离（FAD），通过比较增强音乐的音频嵌入与大量干净、录音室制作的音乐音频嵌入的统计分布来评估音乐增强算法。FAD与人类感知的相关性（r = 0.52）高于传统信号基指标（如SDR，r = 0.39；余弦距离，r = -0.15；幅值L2距离，r = -0.01），因此作为感知音频质量的代理指标更具可靠性。

ABSTRACT

We propose the Fréchet Audio Distance (FAD), a novel, reference-free evaluation metric for music enhancement algorithms. We demonstrate how typical evaluation metrics for speech enhancement and blind source separation can fail to accurately measure the perceived effect of a wide variety of distortions. As an alternative, we propose adapting the Fréchet Inception Distance (FID) metric used to evaluate generative image models to the audio domain. FAD is validated using a wide variety of artificial distortions and is compared to the signal based metrics signal to distortion ratio (SDR), cosine distance and magnitude L2 distance. We show that, with a correlation coefficient of 0.52, FAD correlates more closely with human perception than either SDR, cosine distance or magnitude L2 distance, with correlation coefficients of 0.39, -0.15 and -0.01 respectively.

研究动机与目标

• 解决现有全参考指标（如SDR）在音乐增强任务中与人类感知相关性较差的局限性。
• 开发一种无需访问原始干净音频或噪声信号的无参考评估指标。
• 将图像生成领域的弗雷chetInception距离（FID）框架适配至音频领域，以提升感知对齐性。
• 通过大规模成对比较实验验证该指标与人类感知的相关性。
• 证明FAD在预测感知音频质量方面优于传统信号基指标。

提出的方法

• 通过在增强音频和干净音乐片段上使用预训练模型（VGGish）提取的音频嵌入，将图像生成领域的弗雷chetInception距离（FID）框架适配至音频领域。
• 从增强音频片段的VGGish嵌入以及大量背景干净音乐中计算多变量正态分布统计量（均值与协方差）。
• 通过计算两个多变量正态分布之间的弗雷chet距离，获得FAD分数。
• 使用1秒音频窗口进行嵌入提取，并通过重叠片段覆盖更长的音频片段。
• 在人类成对比较数据上训练Plackett-Luce模型，为每种失真配置估计一个“价值”评分，作为感知质量的代理指标。
• 通过与人类评分的相关性分析，将FAD分数与SDR、余弦距离及幅值L2距离进行比较。

实验结果

研究问题

• RQ1 基于学习到的音频嵌入的无参考指标，是否能比传统信号基指标更准确地预测人类对音乐增强质量的感知？
• RQ2 与SDR、余弦距离和幅值L2距离相比，FAD在多种人工失真类型下的表现如何？
• RQ3 在大规模成对比较评估中，FAD与人类感知的相关性达到何种程度？
• RQ4 当失真类型在不同强度下均导致SDR分数持续偏低时，FAD是否仍保持鲁棒性？
• RQ5 FAD是否可在无需访问原始干净音频或噪声信号的情况下用于评估音乐增强模型？

主要发现

• FAD与人类感知的相关系数达到0.52，显著优于SDR（0.39）、余弦距离（-0.15）和幅值L2距离（-0.01）。
• 在速度加快、保持音高的变速/变慢、混响以及降调等失真类型中，FAD的相关性优于SDR，而SDR在这些情况下表现较差。
• 人类评估研究共包含300段音频，10种失真类型下共21种参数配置，总计69,300次成对比较，评分者在完成训练后每对评估耗时不足40秒。
• Plackett-Luce模型成功为每种失真配置估计了“价值”评分，实现了对多种失真类型间的稳健比较。
• 当SDR因在不同强度下均持续得分偏低而失效时，FAD表现出明显优势，表明其对感知质量的敏感性超越了信号保真度。
• 本研究证实，FAD是一种可行的、与感知对齐的无参考指标，适用于音乐增强算法的评估。