[論文レビュー] Evaluating generative audio systems and their metrics

Ashvala Vinay, Alexander Lerch|arXiv (Cornell University)|Aug 31, 2022

Music and Audio Processing被引用数 6

ひとこと要約

この論文は、客観的指標と聴取実験を用いて、最先端の神経音声合成モデル3つ—DDSP、NSynth、DiffWave—を評価し、既存の客観的指標が知覚的品質と相関しないことを明らかにした。強い指標スコアを示しても、聴取者たちはDDSP や NSynth よりも DiffWave を好んだ。これは、現在の指標が生成音声システムにおける実世界の音質を評価するのに不十分であることを示している。

ABSTRACT

Recent years have seen considerable advances in audio synthesis with deep generative models. However, the state-of-the-art is very difficult to quantify; different studies often use different evaluation methodologies and different metrics when reporting results, making a direct comparison to other systems difficult if not impossible. Furthermore, the perceptual relevance and meaning of the reported metrics in most cases unknown, prohibiting any conclusive insights with respect to practical usability and audio quality. This paper presents a study that investigates state-of-the-art approaches side-by-side with (i) a set of previously proposed objective metrics for audio reconstruction, and with (ii) a listening study. The results indicate that currently used objective metrics are insufficient to describe the perceptual quality of current systems.

研究の動機と目的

• 既存の客観的指標が神経音声合成において知覚的関連性を持つかどうかを評価すること。
• DDSP、NSynth、Diffwave の3つの代表的な生成音声モデルの音質を、一貫した評価手法を用いて比較すること。
• 客観的指標が生成音声システムにおける聴取者の好みを信頼性を持って予測できるかどうかを調査すること。
• 神経音声合成分野の進展を妨げる現在の評価手法の限界を特定すること。

提案手法

• NSynth データセットを用いて、広く使われている3つの神経音声合成器（DDSP、NSynth、DiffWave）を訓練し、比較的評価を実施。
• 再構成誤差（MSE、MAE）、多様性指標（NDB/k）、分布距離指標（IIS、IKID）を含む、合計8つの客観的指標を適用。
• 240名の参加者が、異なる楽器と人口統計的グループを対象に、音声サンプルの知覚的品質を評価する制御された聴取実験を実施。
• 客観的指標スコアと聴取者評価の間の相関係数（ピアソン、スピアーマン、R²）を計算し、指標の妥当性を評価。
• 聴取者好みの有意差を評価するため、統計的検定（ウィルコクソン符号順位検定）を用いた。
• 楽器のジャンルや聴取者の人口統計的属性ごとに評価を分析し、知覚における系統的バイアスを特定。

実験結果

リサーチクエスチョン

• RQ1 神経音声合成のための既存の客観的指標は、人間の聴取者が判断する知覚的音質を信頼性を持って予測できるか？
• RQ2 制御された聴取実験において、DDSP、NSynth、DiffWave の知覚的品質評価はどのように比較されるか？
• RQ3 生成音声システムにおいて、客観的指標スコアと聴取者評価の間に有意な相関があるか？
• RQ4 知覚的品質の観点で、どのモデルが最も優れているか？ また、その順位は客観的指標の順位と一致するか？
• RQ5 現在の客観的指標は、神経音声合成分野における研究進展を導くのに信頼できるか？

主な発見

• MSE や MAE などの客観的指標と聴取者評価との間に、統計的に有意な相関が認められず、これらの指標が知覚的品質を信頼性を持って反映していないことが示された。
• 客観的指標で2番目に高いスコアを出した NSynth は、聴取実験では DDSP や DiffWave よりも著しく低い評価を受け、240人中163人が最低順位にランク付けした。
• 240件の回答のうち、123件で DiffWave が DDSP よりも好まれ、99件で DDSP が好まれ、DiffWave の好まれ方には統計的に有意な差（p < 0.05）が認められた。
• 客観的指標順位（DDSP > DiffWave > NSynth）は、聴取者による知覚順位と一致せず、指標と人間の知覚の間には深刻な乖離が生じていることが明らかになった。
• IKID と IIS スコアは、Diffwave が DDSP や NSynth を上回っていることを示唆しており、これは聴取実験の結果と整合しているが、MSE や MAE などの他の指標は知覚的差を捉えていなかった。
• 結果から、現在の客観的指標は音質評価に不十分であり、研究は知覚的に意味のある評価手法を優先すべきであると示唆された。