[論文レビュー] TSTNN: Two-stage Transformer based Neural Network for Speech Enhancement in the Time Domain

Kai Wang, Bengbeng He+1 more|arXiv (Cornell University)|Mar 18, 2021

Speech and Audio Processing参考文献 27被引用数 11

ひとこと要約

本稿では、時間領域におけるエンドツーエンド音声強調のための2段階型トランスフォーマーに基づくニューラルネットワーク、TSTNNを提案する。局所的およびグローバルな特徴を抽出するためにスタックされた2段階型トランスフォーマー・モジュールを用い、表現を精緻化するためのマスキングモジュールと、綺麗な音声を再構築するためのデコーダーを備える。ベンチマークデータセットにおいて、モデル複雑度を顕著に低減させながら最先端の性能を達成した。

ABSTRACT

In this paper, we propose a transformer-based architecture, called two-stage transformer neural network (TSTNN) for end-to-end speech denoising in the time domain. The proposed model is composed of an encoder, a two-stage transformer module (TSTM), a masking module and a decoder. The encoder maps input noisy speech into feature representation. The TSTM exploits four stacked two-stage transformer blocks to efficiently extract local and global information from the encoder output stage by stage. The masking module creates a mask which will be multiplied with the encoder output. Finally, the decoder uses the masked encoder feature to reconstruct the enhanced speech. Experimental results on the benchmark dataset show that the TSTNN outperforms most state-of-the-art models in time or frequency domain while having significantly lower model complexity.

研究の動機と目的

• 時間領域で直接動作する低複雑度でエンドツーエンドの音声強調モデルの開発。
• ノイズ混在音声における局所的およびグローバルな時間的依存関係を効果的に捉えることで、音声品質および聞き取りやすさの向上。
• 既存のトランスフォーマー基盤またはCNN基盤の音声強調アーキテクチャと比較して、モデル複雑度の低減。
• 時間領域および周波数領域の両領域において、最先端モデルと同等または優れた性能を達成すること。

提案手法

• モデルアーキテクチャは、エンコーダー、2段階型トランスフォーマー・モジュール（TSTM）、マスキングモジュール、デコーダーから構成される。
• TSTMは、エンコーダー出力からの階層的表現を段階的に抽出するために、4つのスタックされた2段階型トランスフォーマー・ブロックを採用する。
• 各2段階型トランスフォーマー・ブロックは2段階で特徴を処理する：まず局所的文脈を捉え、次に自己注意により長距離依存関係をモデル化する。
• マスキングモジュールは、エンコーダー出力と要素ごとに乗算される時間領域マスクを生成し、ノイズ成分を抑制する。
• デコーダーは、逆畳み込みを用いてマスク処理済みの特徴表現から強調された音声信号を再構築する。
• ネットワーク全体は、強調音声波形とクリアな音声波形の差を最小化する損失関数を用いてエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 2段階型トランスフォーマー・アーキテクチャは、時間領域強調のためのノイズ混在音声における局所的およびグローバルな時間的パターンを効果的にモデル化できるか？
• RQ2 提案されたTSTNNは、客観的指標の観点から、既存の最先端モデルと比較して優れた音声強調性能を達成するか？
• RQ3 2段階設計は、性能を維持または向上させつつ、どの程度モデル複雑度を低減できるか？
• RQ4 マスキングモジュールは、ノイズ抑制および音声再構築の忠実度にどのように寄与するか？

主な発見

• TSTNNは、PESQ や STOI などの客観的音声品質指標において、ベンチマークデータセットで最先端の性能を達成した。
• 時間領域におけるCNNベースおよびトランスフォーマー基盤のベースラインと比較して、TSTNNは優れたノイズ抑制および音声再構築品質を示した。
• TSTNNは、同等のトランスフォーマー基盤モデルと比較して顕著に低いモデル複雑度を達成しており、パラメータ数とFLOPsの両方を削減した。
• アブレーションスタディの結果、2段階設計が特徴表現学習を向上させ、より良い強調性能に寄与することが確認された。