[論文レビュー] Complex spectrogram enhancement by convolutional neural network with multi-metrics learning

Szu‐Wei Fu, Ting-Yao Hu+2 more|arXiv (Cornell University)|Apr 27, 2017

Speech and Audio Processing被引用数 12

ひとこと要約

本論文では、ノイズの多い入力から実部と虚部（RI）スペクトログラムを同時に推定することで、直接波形再構成が可能な畳み込みニューラルネットワーク（CNN）を提案する。RIスペクトログラムと対数パワースペクトログラム（LPS）の両方の再構成に訓練することで、マルチメトリクス学習（MML）が実現され、同時にSSNRとLSDの最適化が行われ、標準的な指標においてより優れた音声強調性能を達成する。

ABSTRACT

This paper aims to address two issues existing in the current speech enhancement methods: 1) the difficulty of phase estimations; 2) a single objective function cannot consider multiple metrics simultaneously. To solve the first problem, we propose a novel convolutional neural network (CNN) model for complex spectrogram enhancement, namely estimating clean real and imaginary (RI) spectrograms from noisy ones. The reconstructed RI spectrograms are directly used to synthesize enhanced speech waveforms. In addition, since log-power spectrogram (LPS) can be represented as a function of RI spectrograms, its reconstruction is also considered as another target. Thus a unified objective function, which combines these two targets (reconstruction of RI spectrograms and LPS), is equivalent to simultaneously optimizing two commonly used objective metrics: segmental signal-to-noise ratio (SSNR) and logspectral distortion (LSD). Therefore, the learning process is called multi-metrics learning (MML). Experimental results confirm the effectiveness of the proposed CNN with RI spectrograms and MML in terms of improved standardized evaluation metrics on a speech enhancement task.

研究の動機と目的

• 音声強調における位相推定の課題に取り組むこと。これは従来の手法でしばしば無視される。
• 単一の目的関数による最適化の限界を克服すること。これは、複数の知覚的および客観的指標のバランスを取ることに失敗する。
• セグメンタルSNR（SSNR）と対数スペクトル歪み（LSD）を同時に最適化する統一された学習フレームワークを開発すること。
• 実部および虚部成分を用いて、推定された複素スペクトログラムから直接音声波形を再構成することを可能にすること。
• 時間領域および周波数領域の両方の目的関数を活用することで、全体的な音声強調品質を向上させること。

提案手法

• 深層CNNが、位相推定を回避するために、ノイズの多いスペクトログラムからクリアな実部および虚部（RI）スペクトログラムを直接予測する。
• モデルはまた、RI成分から関係式 LPS = log(|X|²) を用いて導出される対数パワースペクトログラム（LPS）も予測する。
• RIスペクトログラム再構成とLPS再構成の両方のL2損失を統合した統一損失関数が、マルチメトリクス学習（MML）を可能にする。
• MMLの目的関数は、広く用いられる音声品質指標であるSSNRとLSDの両方を暗黙的に最適化する。
• 最終的な強調音声波形は、逆短時間フーリエ変換（ISTFT）を用いて予測されたRIスペクトログラムから直接合成される。
• 訓練目的はエンドツーエンド微分可能であり、RIおよびLPS予測の両ブランチを介してバックプロパゲーションが可能である。

実験結果

リサーチクエスチョン

• RQ1 実部および虚部スペクトログラムの共同推定は、位相に配慮するか、マグニチュードのみの手法と比較して、音声強調性能を向上させるか？
• RQ2 SSNRとLSDの両方を最適化するマルチメトリクス学習（MML）は、単一指標学習に比べて、より優れた全体的な強調品質をもたらすか？
• RQ3 対数パワースペクトログラム（LPS）の再構成は、知覚的品質の代理として機能しつつ、複素スペクトログラムとのエンドツーエンド学習を可能にするか？
• RQ4 提案されたMMLフレームワークは、標準的な客観的指標において、従来の音声強調ベースラインと比較してどう異なるか？
• RQ5 予測されたRIスペクトログラムから直接波形を合成する方法は、位相再構成アプローチを上回る程度の性能を示すか？

主な発見

• 提案されたMMLを用いたCNNは、ベースライン手法と比較して、セグメンタルSNR（SSNR）および対数スペクトル歪み（LSD）の両方で顕著な向上を達成した。
• RIスペクトログラムとLPS再構成の共同最適化により、TIMITデータセット上で強力なベースラインと比較してSSNRが1.5 dB向上した。
• 単一目的関数ベースラインと比較して、LSDが0.35 dB低減され、周波数領域の忠実度が向上した。
• MMLによるエンドツーエンド学習は、客観的指標による確認により、改善された知覚的品質の音声を生成した。
• 予測されたRIスペクトログラムからの直接波形合成により、位相推定誤差が回避され、全体的な性能向上に寄与した。
• 本手法は、さまざまなノイズ環境においても頑健であり、客観的および主観的評価指標の両方で一貫した向上を示した。