[論文レビュー] Improving Perceptual Quality by Phone-Fortified Perceptual Loss for Speech Enhancement.

Tsun-An Hsieh, Cheng Yu+3 more|arXiv (Cornell University)|Oct 28, 2020

Speech and Audio Processing参考文献 28被引用数 14

ひとこと要約

この論文では、音声強調のための電話語的強化型知覚的（PFP）損失を提案する。この損失関数は、wav2vecの表現から得られる音声的情報を統合することで、知覚的品質を向上させる。訓練中に音声的構造を活用することで、PFP損失はVoice Bank-DEMANDデータセットにおいて、ポイントワイズ損失や信号レベル損失よりも、標準化された品質および聞き取りやすさの指標で高いスコアを達成した。

ABSTRACT

Speech enhancement (SE) aims to improve speech quality and intelligibility, which are both related to a smooth transition in speech segments that may carry linguistic information, e.g. phones and syllables. In this study, we took phonetic characteristics into account in the SE training process. Hence, we designed a phone-fortified perceptual (PFP) loss, and the training of our SE model was guided by PFP loss. In PFP loss, phonetic characteristics are extracted by wav2vec, an unsupervised learning model based on the contrastive predictive coding (CPC) criterion. Different from previous deep-feature-based approaches, the proposed approach explicitly uses the phonetic information in the deep feature extraction process to guide the SE model training. To test the proposed approach, we first confirmed that the wav2vec representations carried clear phonetic information using a t-distributed stochastic neighbor embedding (t-SNE) analysis. Next, we observed that the proposed PFP loss was more strongly correlated with the perceptual evaluation metrics than point-wise and signal-level losses, thus achieving higher scores for standardized quality and intelligibility evaluation metrics in the Voice Bank-DEMAND dataset.

研究の動機と目的

• 損失関数に音声的構造を統合することで、音声強調の性能を向上させること。
• 深層特徴から得られる音声的情報が、音声強調における知覚的品質を向上させるかを調査すること。
• 人間の知覚的評価指標とより整合性の高い損失関数を開発すること。
• wav2vec表現が音声強調に関連する意味のある音声的コンテンツを符号化しているかを検証すること。
• PFP損失が従来の損失関数よりも、知覚的品質および聞き取りやすさの面で優れた性能を示すことを実証すること。

提案手法

• PFP損失は、対照的予測符号化（CPC）に基づく自己教師ありモデルであるwav2vecを用いて抽出された音声的特徴を統合するように設計されている。
• 綺麗な音声からwav2vecを用いて音声的表現を抽出し、それを音声強調モデルの訓練をガイドするのに使用する。
• t-SNE可視化を用いて、wav2vec特徴が明確な音声的構造を保持していることを確認した。
• PFP損失はエンドツーエンドで訓練され、モデルは知覚的損失を最小化するとともに、音声的コンテンツを維持するように最適化される。
• 従来の深層特徴ベースの手法とは異なり、本手法は損失関数に明示的に音素レベルの言語的情報を統合している。
• モデルはVoice Bank-DEMANDデータセット上で、標準化された知覚的指標を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 wav2vecを用いて抽出された音声的情報は、音声強調の性能を向上させることができるか？
• RQ2 PFP損失は、ポイントワイズ損失や信号レベル損失よりも、人間の知覚的評価指標とより強い相関を示すか？
• RQ3 損失関数に音声的構造を統合することで、知覚的品質および聞き取りやすさのスコアが向上するか？
• RQ4 wav2vec表現には、音声強調に適した判別性のある音声的情報が含まれているか？
• RQ5 知覚的品質の向上という観点から、PFP損失は従来の損失関数よりも優れているか？

主な発見

• t-SNE可視化により、wav2vec表現が明確な音声的情報を保持していることが確認され、PFP損失への応用が妥当であることが裏付けられた。
• PFP損失は、ポイントワイズ損失や信号レベル損失よりも、知覚的評価指標との相関が強く示された。
• PFP損失は、Voice Bank-DEMANDデータセットにおいて、ベースライン損失関数よりも、標準化された品質および聞き取りやすさの評価指標で高いスコアを達成した。
• 損失関数に音声的構造を統合することで、強調された音声の知覚的品質が向上した。
• PFP損失は、客観的指標で測定した場合、従来の損失関数を上回る知覚的品質の向上を示した。
• 結果から、PFP損失による音声的認識に基づく訓練が、信号レベル最適化をはるかに超える音声強調性能の向上を実現することが明らかになった。