[論文レビュー] A Differentiable Perceptual Audio Metric Learned from Just Noticeable Differences

Pranay Manocha, Adam Finkelstein+4 more|arXiv (Cornell University)|Jan 13, 2020

Speech and Audio Processing参考文献 36被引用数 5

ひとこと要約

本論文は、多数のクラウドソーシングによる閾値検出差（JND）判断に基づいて学習された、微分可能でディープラーニングベースの知覚的音声メトリックを提案する。音声比較を、摂動を加えた音声ペアに対する二値分類（同じか異なるか）のタスクとして定式化することで、モデルは人間の知覚を高い精度で予測でき、従来のメトリックよりも人間の判断との相関性が高く、音声強調の学習損失としても優れている。

ABSTRACT

Many audio processing tasks require perceptual assessment. The ``gold standard`` of obtaining human judgments is time-consuming, expensive, and cannot be used as an optimization criterion. On the other hand, automated metrics are efficient to compute but often correlate poorly with human judgment, particularly for audio differences at the threshold of human detection. In this work, we construct a metric by fitting a deep neural network to a new large dataset of crowdsourced human judgments. Subjects are prompted to answer a straightforward, objective question: are two recordings identical or not? These pairs are algorithmically generated under a variety of perturbations, including noise, reverb, and compression artifacts; the perturbation space is probed with the goal of efficiently identifying the just-noticeable difference (JND) level of the subject. We show that the resulting learned metric is well-calibrated with human judgments, outperforming baseline methods. Since it is a deep network, the metric is differentiable, making it suitable as a loss function for other tasks. Thus, simply replacing an existing loss (e.g., deep feature loss) with our metric yields significant improvement in a denoising network, as measured by subjective pairwise comparison.

研究の動機と目的

• 音声処理タスクにおけるディープラーニングの損失関数と人間の聴覚的知覚の間の不一致を解消すること。
• PESQ や ViSQOL のような非微分可能で手作業で設計されたメトリックの限界を克服し、微細な知覚的差を捉えられない問題を解決すること。
• クラウドソーシングによるJND判断を活用したスケーラブルでデータ駆動型の知覚的音声評価アプローチを構築すること。
• エンドツーエンドのディープラーニング訓練に直接使用可能な微分可能な損失関数を構築すること。
• 学習されたメトリックが、ベースライン損失関数と比較して、最先端の音声強調モデルにおける知覚的品質を向上させることを実証すること。

提案手法

• アルゴリズムで適用された摂動（例：ノイズ、リバーブ、圧縮）を加えた音声記録ペアに対する、二値判断（同じ／異なる）の大量クラウドソーシングデータセットを収集する。
• 各リファレンス音声のJND閾値付近で、摂動の強度を能動的学習で効率的にサンプリングする。
• この二値分類タスクに深層ニューラルネットワークを訓練し、距離が人間の差異検出可能性と相関する知覚的埋め込み空間を学習する。
• 学習されたネットワーク埋め込みから微分可能な距離メトリックを構築し、下流の音声処理タスクにおける損失関数として使用する。
• 平均意見スコア（MOS）と二択強制選択（2AFC）データセットを用いて、モデルの知覚的整合性をキャリブレーションする。
• 学習されたメトリックを音声強調ネットワークの損失関数として統合し、L1、L2、またはディープ特徴損失と置き換えたり補完したりする。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングによるJND判断で学習された深層ニューラルネットワークは、従来の客観的メトリックよりも人間の知覚と相関性の高い知覚的音声メトリックを生成できるか？
• RQ2 微分可能な知覚的損失は、主観的聴取テストにおいて、ディープラーニングベースの音声強調モデルの性能をどの程度向上させられるか？
• RQ3 自己教師あり音声埋め込み（例：OpenL3、VGGish）と比較して、提案されたメトリックは知覚的整合性と学習目的としての有用性において優れているか？
• RQ4 JNDデータで学習することで、従来の損失関数や非微分可能メトリックと比較して、微細な音声劣化の一般化性能が向上するか？
• RQ5 従来のメトリックが失敗する状況において、学習されたメトリックは人間の検出閾値付近の知覚的差を効果的に捉えられるか？

主な発見

• 提案されたメトリックは、検証セットで2AFC精度83.9％を達成し、好みのテストにおいてPESQ（86.1％）とViSQOL（84.2％）を大きく上回り、優れた知覚的整合性を示している。
• 音声強調タスクにおいて、提案損失を使用したモデルは、ペairワイズ比較で83.9％の選好率を示し（ベースラインと比較）、統計的有意性（p < 10^-4）を確認した。特に、微細な差が重要な高SNR条件下で顕著な向上が見られた。
• 従来のメトリック（PESQ や ViSQOL）や自己教師あり埋め込み（OpenL3 など）と比較して、人間のMOSスコアとの相関性が高く、知覚的一致性においても優れている。
• ノイズ除去ネットワークにこのメトリックを損失関数として使用した場合、人間評価によりL1、L2、およびディープ特徴損失と比較して知覚的に優れた結果が得られた。
• JNDデータで学習したモデルは、分類タスクで事前学習されたモデルがしばしば示す誤った知覚的順序を是正する、知覚的にキャリブレーションされたスケールを学習している。
• データセット、コード、および訓練済みモデルは公開されており、音声ML研究分野における再現性と広範な採用を促進している。