[論文レビュー] Complex Spectral Mapping With Attention Based Convolution Recurrent Neural Network for Speech Enhancement

Liming Zhou, Yongyu Gao+3 more|arXiv (Cornell University)|Apr 12, 2021

Speech and Audio Processing参考文献 38被引用数 12

ひとこと要約

本論文は、複素スペクトルマッピングを実装するU-Netに類似したエンコーダ・デコーダアーキテクチャに、畳み込み層および再帰層を組み合わせた、CARNと呼ばれる新しい音声強調モデルを提案する。CRNにおける直接的なスキップ接続を注意メカニズムに置き換えることで、DNS Challenge 2020で最先端の性能を達成し、実録音データにおいてPESQ、CSIG、DNSMOSといった主要指標で、以前のSOTAモデルを10%以上上回った。

ABSTRACT

Speech enhancement has benefited from the success of deep learning in terms of intelligibility and perceptual quality. Conventional time-frequency (TF) domain methods focus on predicting TF-masks or speech spectrum,via a naive convolution neural network or recurrent neural network.Some recent studies were based on Complex spectral Mapping convolution recurrent neural network (CRN) . These models skiped directly from encoder layers' output and decoder layers' input ,which maybe thoughtless. We proposed an attention mechanism based skip connection between encoder and decoder layers,namely Complex Spectral Mapping With Attention Based Convolution Recurrent Neural Network (CARN).Compared with CRN model,the proposed CARN model improved more than 10% relatively at several metrics such as PESQ,CBAK,COVL,CSIG and son,and outperformed the place 1st model in both real time and non-real time track of the DNS Challenge 2020 at these metrics.

研究の動機と目的

• CRNにおける単純なスキップ接続を注意に基づくメカニズムに置き換えることで、音声強調性能を向上させること。
• 周波数領域手法が位相や時間的依存性を無視するという従来の手法の限界に対処すること。
• 複素スペクトルマッピングと注意メカニズムを用いて、非定常雑音環境下でも頑健性を高めること。
• 合成データおよび実世界のノイズあり音声データセットの両方で優れた性能を達成すること。
• 音声強調の文脈で、エンコーダとデコーダの特徴を橋渡しするための注意メカニズムの有効性を検証すること。

提案手法

• CARNは、PReLU活性化関数とバッチ正則化を用いた6層のエンコーダおよびデコーダConv2dブロックを備えたU-Netスタイルのアーキテクチャを採用する。
• エンコーダとデコーダの間に、長距離時間的依存性をモデル化するためのLSTM層（512ユニット）を配置する。
• 直接的なスキップ接続を置き換えるために、エンコーダからデコーダへの特徴を選択的に集約する注意ベースのスキップ接続を導入する。
• モデルは時間周波数ドメインで複素比マスク（CRM）を予測し、入力STFTと乗算することで綺麗な音声を再構築する。
• ゲート畳み込みの変種であるGCARNも提案し、このアーキテクチャにおけるゲート機構の必要性を評価する。
• モデルはCRMターゲットを用いた教師あり学習で訓練され、PESQ、CSIG、CBAK、COVL、STOI、DNSMOSを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 CRNにおける直接的なスキップ接続と比較して、注意ベースのスキップ接続は音声強調性能を向上させるか？
• RQ2 U-Netに基づくCRNアーキテクチャに注意メカニズムを統合することで、合成データおよび実世界のノイズあり音声データの両方でより良い結果が得られるか？
• RQ3 DNS Challenge 2020データセットにおいて、CARNはDCCRN-E や poCoNet といった最先端モデルと比較してどのように差をつけるか？
• RQ4 注意メカニズムは、スキップ接続中にノイズの強い特徴をどの程度効果的にフィルタリングするか？
• RQ5 このアーキテクチャにおいて、ゲート畳み込みを注意メカニズムと組み合わせることで追加の利得が得られるか？

主な発見

• CARNは、データセット1において、ベースラインのCRNと比較してPESQで12.2%、CBAKで10.7%、COVLで11.7%、CSIGで10.8%の相対的向上を達成した。
• GCARNは、GCRNと比較してPESQで19.1%、CSIGで15.1%の相対的向上を示し、注意メカニズムを用いる場合、ゲート畳み込みが不要である可能性を示唆した。
• DNS Challenge 2020の非リアルタイムトラックにおいて、CARNは以前のSOTAモデル（poCoNet）をPESQで6.2%、CBAKで20.7%、COVLで5.3%、CSIGで3.7%上回った。
• DNS Challenge 2020のブラインドテストセットにおいて、CARNは非リバーブ、リバーブ、実録音のすべての条件下で、最高のDNSMOSスコア3.72を達成した。
• GCARNはDNSMOS性能でCARNと同等の平均3.72を達成し、注意メカニズムの頑健性を確認した。
• 注意メカニズムは、スキップ接続におけるノイズの強い特徴を効果的にフィルタリングし、CRNにおける単純なスキップ接続と比較して顕著な性能向上をもたらした。