[論文レビュー] Dual-branch Attention-In-Attention Transformer for single-channel speech enhancement

Guochen Yu, Andong Li+4 more|arXiv (Cornell University)|Oct 13, 2021

Speech and Audio Processing被引用数 12

ひとこと要約

本稿では、単一チャネル音声強調のためのデュアルブランチトランスフォーマー構造であるDB-AIATを提案する。この手法は、マスキングブランチによりマグニチュードスペクトルを別々に推定し、補完的なリファインングブランチにより複素スペクトルの詳細を精緻化する。長距離の時間周波数モデリングを実現するため、アテンションインアテンショントランスフォーマー（AIAT）を統合することで、Voice Bank + DEMANDデータセット上で2.81MパラメータでSOTA性能（PESQ 3.31、STOI 95.6%、SSNR 10.79 dB）を達成した。

ABSTRACT

Curriculum learning begins to thrive in the speech enhancement area, which decouples the original spectrum estimation task into multiple easier sub-tasks to achieve better performance. Motivated by that, we propose a dual-branch attention-in-attention transformer dubbed DB-AIAT to handle both coarse- and fine-grained regions of the spectrum in parallel. From a complementary perspective, a magnitude masking branch is proposed to coarsely estimate the overall magnitude spectrum, and simultaneously a complex refining branch is elaborately designed to compensate for the missing spectral details and implicitly derive phase information. Within each branch, we propose a novel attention-in-attention transformer-based module to replace the conventional RNNs and temporal convolutional networks for temporal sequence modeling. Specifically, the proposed attention-in-attention transformer consists of adaptive temporal-frequency attention transformer blocks and an adaptive hierarchical attention module, aiming to capture long-term temporal-frequency dependencies and further aggregate global hierarchical contextual information. Experimental results on Voice Bank + DEMAND demonstrate that DB-AIAT yields state-of-the-art performance (e.g., 3.31 PESQ, 95.6% STOI and 10.79dB SSNR) over previous advanced systems with a relatively small model size (2.81M).

研究の動機と目的

• マグニチュードと位相の回復を補完的なブランチに分離することで、単一チャネル音声強調の性能を向上させること。
• RNNやTCNが長距離の時間周波数依存関係をモデル化する際の限界を克服すること。
• マグニチュードの推定と複素スペクトル詳細のリファインングを統合することで、知覚的品質と話者の理解度を向上させること。
• 軽量でアテンションベースのアーキテクチャを採用することで、モデルの複雑さを低減しながら性能を維持または向上させること。

提案手法

• 本手法はデュアルブランチアーキテクチャを採用する：粗いマグニチュードスペクトル推定のためのマグニチュードマスキングブランチ（MMB）と、詳細なスペクトル特徴の回復のための複素リファインングブランチ（CRB）である。
• 各ブランチは、時間軸および周波数軸にわたる長距離依存関係をモデル化するため、アテンションインアテンショントランスフォーマー（AIAT）モジュールを用いる。
• AIATモジュールは、適応的時間周波数アテンションブロックと、グローバルな文脈情報を集約するための適応的階層的アテンション（AHA）モジュールで構成される。
• ブランチ間のスキップ接続により特徴の統合が可能であり、MMBからの粗い推定値とCRBからの精緻化された詳細が組み合わされ、クリーンな複素スペクトルが再構築される。
• 音声品質と理解度の最適化を目的として、L1損失関数と知覚的損失関数の組み合わせを用いて、エンドツーエンドで学習を行う。
• モデルは、訓練の安定化と特徴表現の向上を目的とした、残差接続付きの密なエンコーダデコーダ構造を採用する。

Fig. 1 : The diagram of the proposed DB-AIAT. (a) The overall diagram of the proposed system. (b) The detailed architecture of mask decoder.

実験結果

リサーチクエスチョン

• RQ1 マグニチュード推定と複素スペクトルリファインニングを分離するデュアルブランチアーキテクチャが、音声強調性能の向上に寄与するか？
• RQ2 RNNやTCNと比較して、アテンションインアテンショントランスフォーマー（AIAT）は長距離の時間周波数依存関係をどの程度効果的にモデル化できるか？
• RQ3 マグニチュードマスキングと複素リファインニングブランチの補完的設計は、単一ブランチアプローチよりも優れた性能をもたらすか？
• RQ4 適応的階層的アテンションモジュールは、トランスフォーマー構造におけるグローバルコンテキスト集約をどの程度向上させるか？
• RQ5 軽量なトランスフォーマーに基づくモデルは、既存のSOTAシステムと比較して少ないパラメータ数でSOTAの結果を達成できるか？

主な発見

• DB-AIATは、Voice Bank + DEMANDデータセット上でPESQ 3.31、STOI 95.6%、SSNR 10.79 dBを達成し、すべての先行SOTA手法を上回った。
• デュアルブランチ設計は、すべての指標で一貫した改善をもたらした：最も強力なベースラインであるDEMUCSと比較して、+0.24 PESQ、+0.6% STOI、+0.30 CSIG、+0.35 CBAK、+0.33 COVLの向上を達成した。
• CRB-AIATバージョン単体でも、DCCRNと比較してPESQで+0.47、CSIGで+0.60の向上を示し、AIATモジュールの有効性を裏付けた。
• 両ブランチを有する完全なDB-AIATモデルが最良の性能を達成した。これは、マグニチュードと複素リファインニングの補完的利点を確認するものである。
• AIATモジュールは性能を顕著に向上させた：AHAを含まないDB-ATFATと比較して、COVLで+0.39、CBAKで+0.39の向上を示し、階層的アテンションの役割を裏付けた。
• わずか2.81MパラメータでSOTA性能を維持しており、競合モデルと比較して顕著にパラメータ効率が優れていた。

Fig. 2 : (a) The diagram of ATFAT blocks. (b) The diagram of the AHA module.