[論文レビュー] Monaural Speech Enhancement with Complex Convolutional Block Attention Module and Joint Time Frequency Losses

Shengkui Zhao, Trung Hieu Nguyen+1 more|arXiv (Cornell University)|Feb 3, 2021

Speech and Audio Processing参考文献 22被引用数 4

ひとこと要約

本稿では、深層複素U-NetおよびCRNモデルを用いた単耳音声強調の性能向上を図るため、複雑な畳み込みブロック注意モジュール（CCBAM）と時間周波数連合損失関数を提案する。CCBAMは複素数値畳み込みにおけるチャネルおよび空間的特徴に注目することで特徴表現を強化する。一方、混合損失関数は時間領域および周波数領域を同時に最適化し、2つのデータセットでPESQ、STOI、SI-SNRの大幅な向上を達成し、最先端の性能を実現した。

ABSTRACT

Deep complex U-Net structure and convolutional recurrent network (CRN) structure achieve state-of-the-art performance for monaural speech enhancement. Both deep complex U-Net and CRN are encoder and decoder structures with skip connections, which heavily rely on the representation power of the complex-valued convolutional layers. In this paper, we propose a complex convolutional block attention module (CCBAM) to boost the representation power of the complex-valued convolutional layers by constructing more informative features. The CCBAM is a lightweight and general module which can be easily integrated into any complex-valued convolutional layers. We integrate CCBAM with the deep complex U-Net and CRN to enhance their performance for speech enhancement. We further propose a mixed loss function to jointly optimize the complex models in both time-frequency (TF) domain and time domain. By integrating CCBAM and the mixed loss, we form a new end-to-end (E2E) complex speech enhancement framework. Ablation experiments and objective evaluations show the superior performance of the proposed approaches (https://github.com/modelscope/ClearerVoice-Studio).

研究の動機と目的

• 複素数値畳み込み層の表現力の向上を通じて、単耳音声強調の性能を改善すること。
• 音声強調のための既存の注目メカニズムが複素数値ディープラーニングモデルにおいて抱える制限を解消すること。
• 任意の複素数値畳み込み層と互換性を持つ軽量で汎用的な注目モジュールを構築すること。
• SI-SNRとCRM-MSEを組み合わせた混合損失関数を用いて、時間および周波数領域で同時に音声強調を最適化すること。
• エンドツーエンドの複素数ネットワークを用いて、単耳音声強調ベンチマークで最先端の性能を達成すること。

提案手法

• 複素数値特徴マップのチャネルおよび空間次元に別々に圧縮・励起操作を適用する複雑な畳み込みブロック注意モジュール（CCBAM）を提案する。
• CCBAMは、複素特徴の実部および虚部の両方に対して、グローバル平均プーリングと学習可能な全結合層を用いて注目重みを計算する。
• 特徴表現の精錬を図るため、深層複素U-NetおよびCRNモデルのデコーダ層およびスキップ接続にCCBAMを統合する。
• 理想複素比マスク（CRM）の実部および虚部に対するスケール不変音声対ノイズ比（SI-SNR）と平均二乗誤差（MSE）を組み合わせた混合損失関数を設計する。
• エンドツーエンドで共同損失関数を最適化することで、時間および周波数領域におけるCRM推定の精度を向上させる。
• DCUnetには64msハニング窓、16msホップを、DCCRNには20ms/10msを用い、PyTorchとAdam最適化手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 複素数値注目メカニズムは、単耳音声強調モデルにおける畳み込み層の表現力の向上に寄与するか？
• RQ2 CCBAMを深層複素U-NetおよびCRNアーキテクチャに統合することで、性能向上が達成されるか？
• RQ3 SI-SNRとCRM-MSEを組み合わせた時間周波数連合損失関数は、単一領域最適化を上回る音声強調性能を実現できるか？
• RQ4 提案フレームワークは、多様なノイズおよびクリア音声データセットにおける最先端モデルと比較して優れているか？
• RQ5 CCBAMモジュールは、異なるモデルアーキテクチャおよびデータ分布において一貫した改善をもたらすか？

主な発見

• CCBAMと混合損失を統合したDCUnet-MCおよびDCCRN-MCモデルは、それぞれdataset-1およびdataset-2で最高のPESQスコア3.44および3.30を達成した。
• dataset-1では、DCUnet-MCは元のDCUnetに比べPESQが0.19向上し、SI-SNRが1.62 dB向上した。また、DCUnet-Mに比べてPESQが0.10向上し、SI-SNRが0.91 dB向上した。
• dataset-2では、DCCRN-MCはPESQ 3.30を達成し、DCCRN-Mに比べ0.06向上、ベースラインDCCRNに比べ0.10向上した。
• 混合損失関数（連合損失）は、SI-SNR-only学習に比べ、dataset-1で0.44 dB、dataset-2で0.44 dBのSI-SNR向上をもたらした。
• CCBAMモジュールは性能向上に顕著な寄与を示し、dataset-1ではDCUnet-MCがDCUnet-Mに比べPESQで0.06向上し、SI-SNRが0.74 dB向上した。
• 提案フレームワークは、小規模なWSJ0+DEMANDおよび大規模なDNSチャレンジデータセットの両方で最先端の性能を達成し、堅牢性と一般化能力を示した。