[論文レビュー] MetricGAN: Generative Adversarial Networks based Black-box Metric Scores Optimization for Speech Enhancement

Szu‐Wei Fu, Chien-Feng Liao+2 more|arXiv (Cornell University)|May 13, 2019

Speech and Audio Processing被引用数 117

ひとこと要約

MetricGANは、識別器を評価指標（例：PESQ、STOI）に結びつけ、生成器の性能をそれらの指標で直接最適化するGANベースのフレームワークを導入する。これにより、連続的な指標ガイド訓練と複数指標の制御を可能にする。

ABSTRACT

Adversarial loss in a conditional generative adversarial network (GAN) is not designed to directly optimize evaluation metrics of a target task, and thus, may not always guide the generator in a GAN to generate data with improved metric scores. To overcome this issue, we propose a novel MetricGAN approach with an aim to optimize the generator with respect to one or multiple evaluation metrics. Moreover, based on MetricGAN, the metric scores of the generated data can also be arbitrarily specified by users. We tested the proposed MetricGAN on a speech enhancement task, which is particularly suitable to verify the proposed approach because there are multiple metrics measuring different aspects of speech signals. Moreover, these metrics are generally complex and could not be fully optimized by Lp or conventional adversarial losses.

研究の動機と目的

• GANベースの音声強調における識別器と評価の不一致（DEM）を動機づけて解決する。
• 識別器がターゲット評価指標を近似するよう学習する、GANベースのフレームワークを提案する。
• 生成器を、二値の real/fake ラベルではなく連続的な指標スコアでガイドできるようにする。
• 指標ガイド付き訓練が従来のLp-lossベースの手法を上回ることを示す。
• 複数の識別器を用いて複数の指標を同時に最適化できることを示す。

提案手法

• 指標 Q(I) を、Q を近似する D という微分可能な代理指標を介して関連付ける。
• D の損失を再定式化し、D(y,y) が指標の最大値と整合するように（[0,1] に正規化）、D(G(x),y) が Q(G(x),y) を近似するようにする。
• L_G = E_x[(D(G(x),y) - s)^2] により、連続的なターゲットスコア s で G を訓練する。
• 観測データに基づいてメトリック表面を模倣するように D を反復的に訓練し、G への勾配ガイダンスを可能にする。
• 複数の識別器と最大の指標差異を優先するアルゴリズムを用いて、任意で多指標最適化へ拡張する。
• ネットワークアーキテクチャを記述する：G は BLSTM ベースのマスク推定器を用い、D は 1-リプシッツ連続性を強制するスペクトral 正規化を備えた CNN である。

実験結果

リサーチクエスチョン

• RQ1 ターゲット評価指標を反映するように訓練された識別器は、音声強調のその指標を効果的に最適化する勾配を提供できるか。
• RQ2 D を実際の指標（PESQ/STOI）に結びつけると、従来の Lp ロスと比較して訓練効率と最終スコアが改善されるか。
• RQ3 MetricGAN は既存の SE モデルや他の GAN ベースの手法より高い PESQ および STOI を達成できるか。
• RQ4 生成器に特定の指標スコアを制御・割り当てすることは可能か、そして複数指標を同時に最適化できるか。

主な発見

• MetricGAN は TIMIT データセットで、いくつかのベースラインおよび GAN バリアントと比較して高い PESQ および STOI スコアを達成。
• PESQ最適化 MetricGAN (P) は、テストした SNR で最高の PESQ と STOI のほぼトップを示し、IRM および CGAN ベースラインを上回る。
• STOI 最適化 MetricGAN (S) は、特に低 SNR で聴取性の顕著な改善を示す。
• 訓練効率（ターゲット指標に到達するための反復回数）は、Lp-loss ベースのベースラインより MetricGAN の方が高い。
• 連続的な指標ラベルにより、指定された指標スコアを持つ音声の生成が可能であり、複数の識別器で複数指標の割り当ても拡張できる。
• 公開データセット上の最先端の SE モデルと比較して、MetricGAN(P) は最高の PESQ を達成し、他の MOS-related 指標（CSIG、CBAK、COVL）で競争力のあるスコアを示し、指標全般への良い汎化を示唆する。