[論文レビュー] Boosting Objective Scores of a Speech Enhancement Model by MetricGAN Post-processing

Szu‐Wei Fu, Chien-Feng Liao+10 more|arXiv (Cornell University)|Jun 18, 2020

Speech and Audio Processing参考文献 23被引用数 10

ひとこと要約

この論文では、変換器ベースの音声強調モデルの客観的音声品質スコア（特にPESQ）を向上させるためのMetricGANベースの後処理フレームワークを提案する。事前学習済みL1変換器をMetricGANでファインチューニングすることで、主モデルの再訓練を伴わずに知覚的品質を向上させ、ベンチマークデータセット上でDNSチャレンジのベースラインを大きく上回る成果を達成した。

ABSTRACT

The Transformer architecture has demonstrated a superior ability compared to recurrent neural networks in many different natural language processing applications. Therefore, our study applies a modified Transformer in a speech enhancement task. Specifically, positional encoding in the Transformer may not be necessary for speech enhancement, and hence, it is replaced by convolutional layers. To further improve the perceptual evaluation of the speech quality (PESQ) scores of enhanced speech, the L_1 pre-trained Transformer is fine-tuned using a MetricGAN framework. The proposed MetricGAN can be treated as a general post-processing module to further boost the objective scores of interest. The experiments were conducted using the data sets provided by the organizer of the Deep Noise Suppression (DNS) challenge. Experimental results demonstrated that the proposed system outperformed the challenge baseline, in both subjective and objective evaluations, with a large margin.

研究の動機と目的

• 主アーキテクチャの再訓練を伴わずに、音声強調モデルの客観的音声品質スコア（特にPESQ）を向上させること。
• 音声強調システムにおける客観的指標と知覚的品質のギャップを解消すること。
• 目的指標に基づく敵対的訓練を用いて、モデル出力を向上させる汎用的な後処理モジュールを開発すること。
• 音声シーケンスに適したように修正された位置エンコーディングを用いた変換器アーキテクチャを音声強調に活用すること。
• 提案手法の有効性をDeep Noise Suppression（DNS）チャレンジデータセット上で検証すること。

提案手法

• 音声信号表現に適したように、変換器の標準的な位置エンコーディングを畳み込み層に置き換える。
• MetricGANフレームワークを用いて、事前学習済みL1変換器モデルをファインチューニングし、客観的スコアを向上させる。
• PESQなどの客観的指標に基づいて、強調された音声と正解のクリアな音声を区別するように、ドメインネーターを訓練する。
• 敵対的訓練を用いて、生成器（音声強調器）を、客観的指標で高いスコアを達成する出力を生成するように最適化する。
• 訓練済みのMetricGANを、任意の事前学習済み音声強調モデルの出力を強化する後処理モジュールとして適用する。
• 主観的および客観的指標を用いて、DNSチャレンジデータセット上で手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 後処理用のMetricGANフレームワークは、事前学習済み音声強調モデルの客観的音声品質スコアを顕著に向上させることができるか？
• RQ2 標準的な位置エンコーディングを畳み込み層に置き換えると、変換器の音声強調における性能にどのような影響を与えるか？
• RQ3 PESQなどの客観的指標に基づく敵対的訓練により、主モデルの再訓練を伴わずに知覚的品質をどの程度向上させることができるか？
• RQ4 提案されたMetricGAN後処理モジュールは、さまざまな音声強調モデルに一般化可能か？
• RQ5 本手法は、主観的および客観的評価の両方でDNSチャレンジのベースラインを上回るか？

主な発見

• 提案されたMetricGAN後処理手法は、DNSチャレンジのベースラインと比較して、PESQスコアを顕著に向上させた。
• 客観的および主観的評価の両方で大きな差を示し、優れた音声品質を実現した。
• 標準的な位置エンコーディングを畳み込み層に置き換えることで、音声強調タスクにおけるモデル性能が向上した。
• L1変換器をMetricGANでファインチューニングすることで、主モデルの再訓練を伴わずに、客観的指標に顕著な向上が見られた。
• MetricGAN後処理モジュールは一般化可能であり、任意の事前学習済み音声強調モデルに適用して、その客観的スコアを向上させることができる。
• すべての評価指標において、ベースラインを上回ったことから、提案フレームワークの有効性が確認された。