[論文レビュー] End-to-End Model for Speech Enhancement by Consistent Spectrogram Masking

Xingjian Du, Mengyao Zhu+4 more|arXiv (Cornell University)|Jan 2, 2019

Speech and Audio Processing参考文献 13被引用数 5

ひとこと要約

本稿では、学習収束を向上させるとともにアーティファクトを低減するために、複素スペクトログラムに一貫性制約を課す新しいエンドツーエンド音声強調手法である一貫性スペクトログラムマスキング（CSM）を提案する。微分可能STFT近似を用いた準層（quasi-layers）を通じて一貫性スペクトログラム空間で直接最適化することで、従来のcRM や IRM などのマスキング手法に比べ、収束が速く、音声品質が優れている。

ABSTRACT

Recently, phase processing is attracting increasinginterest in speech enhancement community. Some researchersintegrate phase estimations module into speech enhancementmodels by using complex-valued short-time Fourier transform(STFT) spectrogram based training targets, e.g. Complex RatioMask (cRM) [1]. However, masking on spectrogram would violentits consistency constraints. In this work, we prove that theinconsistent problem enlarges the solution space of the speechenhancement model and causes unintended artifacts. ConsistencySpectrogram Masking (CSM) is proposed to estimate the complexspectrogram of a signal with the consistency constraint in asimple but not trivial way. The experiments comparing ourCSM based end-to-end model with other methods are conductedto confirm that the CSM accelerate the model training andhave significant improvements in speech quality. From ourexperimental results, we assured that our method could enha

研究の動機と目的

• 音声強調における不一致スペクトログラム問題がモデルの収束を劣化させるとともにアーティファクトを引き起こすという問題に対処すること。
• STFTの一貫性制約を維持しながら、複素スペクトログラム領域で位相と振幅を同時に強調すること。
• 一貫性スペクトログラム多様体への最適化制限により、モデルの学習を加速し、音声品質を向上させること。
• 新しい準層（quasi-layers）を介して一貫性制約をディープラーニングモデルに統合する微分可能でエンドツーエンドのフレームワークを開発すること。

提案手法

• 複素スペクトログラムに一貫性制約を課すため、推定スペクトログラムが有効な時間領域信号のSTFTであることを保証することで、CSM（一貫性スペクトログラムマスキング）を提案する。
• STFTおよびISTFTの操作を模倣する学習可能な畳み込み層である「準層（quasi-layers）」を導入し、スペクトログラム変換のバックプロパゲーションを可能にする。
• 不一致に起因する解空間の拡張を回避するため、一貫性スペクトログラム空間上で直接最適化される損失関数を導出する。
• 入力のノイズスペクトログラムからマルチスケール特徴を抽出するために、完全畳み込みネットワーク（FCN）とDenseNetアーキテクチャを用いる。
• ISTFTによる再構成が可能であることを保証するために、複素スペクトログラムの実部と虚部を同時に最適化するCSM損失を適用する。
• エンドツーエンド学習を可能にするために、STFT/ISTFTペアの微分可能近似を用いることで、一貫性スペクトログラム制約を統合する。

実験結果

リサーチクエスチョン

• RQ1 スペクトログラムに一貫性制約を課すことで、音声強調モデルの収束速度が向上するか？
• RQ2 一貫性スペクトログラムマスキングは、不一致な位相と振幅推定によって生じる不要なアーティファクトを低減できるか？
• RQ3 CSMは従来のcRM や IRM と比較して、音声品質および学習効率において優れているか？
• RQ4 ネットワークアーキテクチャの選択（例：FCN 対 DNN）が、CSM を用いる際の性能にどの程度影響を与えるか？

主な発見

• VCTKデータセットにおける学習曲線から、CSMベースのモデルはcRMベースのモデルよりも収束が速いことが示された。
• QL-FCN-CSMは、全SNR条件下でPESQおよびSNRにおいてQL-FCN-cRM やDNNベースのモデルを上回ったが、特に低SNR環境下で顕著な優位性を示した。
• -6 dB SNRのバブルノイズ条件下で、QL-FCN-CSMはPESQ 1.951を達成し、DNN-cRM（1.914）およびDNN-IRM（1.809）を上回った。
• ロードノイズ条件下では、-6 dB SNRでQL-FCN-CSMはPESQ 2.995を達成し、DNN-cRM（2.905）およびDNN-IRM（2.853）を上回った。
• バブル、カフェ、工場、ロードなど多様なノイズタイプに対して一貫した性能を維持しており、強靭性が確認された。
• 一貫性スペクトログラム制約により、波形比較の可視化（図3）から時間領域の歪みが低減されたことが確認された。