[論文レビュー] Perceptual audio loss function for deep learning

D. Elbaz, Michael Zibulevsky|arXiv (Cornell University)|Aug 20, 2017

Speech and Audio Processing参考文献 3被引用数 4

ひとこと要約

本稿では、Wavenetアーキテクチャに基づく微分可能で学習可能な知覚的音声損失関数を提案し、PESQ音声品質メトリックを近似する。クリア-劣化音声ペアを用いてPESQスコアを予測するWavenetモデルを学習させることで、人間の主観的品質評価に整合性の高いエンドツーエンド音声強調が可能となり、0.25秒の音声クリップにおいて全セグメントPESQと81%の相関を達成した。

ABSTRACT

PESQ and POLQA , are standards are standards for automated assessment of voice quality of speech as experienced by human beings. The predictions of those objective measures should come as close as possible to subjective quality scores as obtained in subjective listening tests. Wavenet is a deep neural network originally developed as a deep generative model of raw audio wave-forms. Wavenet architecture is based on dilated causal convolutions, which exhibit very large receptive fields. In this short paper we suggest using the Wavenet architecture, in particular its large receptive filed in order to learn PESQ algorithm. By doing so we can use it as a differentiable loss function for speech enhancement.

研究の動機と目的

• 主観的音声品質と相関する微分可能な損失関数を開発すること。特にPESQメトリックを模倣すること。
• MSE や PSNR といった標準的な損失関数の限界を是正すること。これらは人間のMOSスコアと相関が低い。
• Wavenetに内蔵された拡張因果畳み込みの大きな受容 field を活用し、音声信号における長期的時間的依存関係をモデル化すること。
• 知覚的に意味のある微分可能な損失関数を用いて、音声強調モデルのエンドツーエンド学習を可能にすること。
• 最適化中にMSE損失と組み合わせることで、音声強調の忠実度を向上させること。

提案手法

• Wavenetモデルを、完全参照アルゴリズムから得た真値PESQ値を用いて、0.25秒のクリア-劣化音声ペアのPESQスコアを予測するように学習する。
• クリアおよび劣化信号の両方を16 kHzでサンプリングし、4095サンプル（0.25秒）の入力を使用する。
• スコアの正確性を向上させるとともに、複数の話者をカバーできる単一のモデルを実現するため、話者IDでWavenetモデルを条件づける。
• Wavenetの拡張因果畳み込みを活用し、8190サンプルの受容 field を達成することで、PESQに類似した評価に不可欠な長期的依存関係を捉える。
• 学習済みWavenetを音声強調の微分可能な損失関数として使用し、重み付き和によりMSE損失と組み合わせる：$ P(x_{\text{clean}}, x_{\text{degraded}}) + \lambda \cdot \text{MSE}(x_{\text{clean}}, x_{\text{degraded}}) $。
• TIMITコーパスを用いてモデルを学習し、劣化音声はランダム化された位相を伴うフーリエ変換を用いた音声形状ノイズによって生成する。

実験結果

リサーチクエスチョン

• RQ1 大きな受容 field を有する深層ニューラルネットワークが、微分可能かつPESQ音声品質メトリックを近似できるか？
• RQ2 0.25秒の短い音声セグメントで学習したWavenetベースのモデルは、全セグメントPESQスコアとどの程度相関するか？
• RQ3 学習された知覚的損失は、標準的なMSEやPSNR損失と比較して、音声強調品質をどの程度向上できるか？
• RQ4 話者IDに条件づけることで、学習されたPESQ予測器の精度と一般化性能が向上するか？
• RQ5 エンドツーエンド学習パイプラインにおいて、非微分可能なPESQアルゴリズムを置き換えるか、模倣するための深層学習モデルは実用的か？

主な発見

• Wavenetベースのモデルは、0.25秒の音声クリップに対して全セグメントPESQスコアと81%の相関を達成した。
• 8190サンプルの大きな受容 field を活用することで、長期的時間的依存関係を捉えることで、PESQスコアの予測を効果的に学習した。
• 話者IDに条件づけることで、TIMITデータセット内の異なる話者間での一般化能力が向上した。
• 学習されたPESQ損失関数は微分可能であり、音声強調モデルのエンドツーエンド学習に統合可能である。
• 学習された知覚的損失とMSE損失の組み合わせにより、MSE単体よりも主観的品質評価に整合性の高い最適化が可能になった。
• 本手法は、深層学習を用いて、非微分可能な複雑な目的品質メトリック（例：PESQ）を学習可能な形で効果的に近似できることを示している。