[論文レビュー] T-GSA: Transformer with Gaussian-weighted self-attention for speech enhancement

Jaeyoung Kim, Mostafa El‐Khamy+1 more|arXiv (Cornell University)|Oct 13, 2019

Speech and Audio Processing参考文献 18被引用数 12

ひとこと要約

本論文は、フレーム間の時間的距離に基づいて注意重みを減衰させるガウス重み付き自己注意機構を備えたTransformerベースの音声強調モデルT-GSAを提案する。この手法により、音声ノイズ除去の性能が向上し、標準TransformerおよびLSTMベースのモデルを著しく上回り、複数のデータセットでSDRおよびPESQ指標において最先端の結果を達成した。

ABSTRACT

Transformer neural networks (TNN) demonstrated state-of-art performance on many natural language processing (NLP) tasks, replacing recurrent neural networks (RNNs), such as LSTMs or GRUs. However, TNNs did not perform well in speech enhancement, whose contextual nature is different than NLP tasks, like machine translation. Self-attention is a core building block of the Transformer, which not only enables parallelization of sequence computation, but also provides the constant path length between symbols that is essential to learning long-range dependencies. In this paper, we propose a Transformer with Gaussian-weighted self-attention (T-GSA), whose attention weights are attenuated according to the distance between target and context symbols. The experimental results show that the proposed T-GSA has significantly improved speech-enhancement performance, compared to the Transformer and RNNs.

研究の動機と目的

• 標準Transformerが音声強調タスクにおいて性能が低い理由（自然言語処理タスクとは異なり、長距離依存性や物理的信号特性が異なること）を解消すること。
• 信号相関特性に基づく距離依存性の減衰を組み込むことで、音響信号におけるTransformerの注意メカニズムを改善すること。
• 遠く離れたフレームの影響を低減しつつ相関の符号を保持する自己注意メカニズムを設計し、自然な音響信号の挙動を模倣すること。
• 従来の再帰型およびTransformerベースのモデルと比較して優れた音声強調性能を達成すること。

提案手法

• ターゲットフレームとコンテキストフレーム間の距離の関数として学習可能なガウス関数で重み付けされた自己注意機構（GSA）を導入。
• 原始スコア行列 $ C_l^u $ とガウス重み行列 $ G_l $ を要素ごとに乗算し、$ g^l_{i,j} = e^{-|i-j|^2 / heta_l^2} $ を用いる。ここで $ heta_l $ は学習可能な分散パラメータである。
• マルチヘッド注意、レイヤーナーマライゼーション、フィードフォワードネットワークを備えた標準Transformerエンコーダー構造を採用するが、距離に基づくガウス重み付けを注意メカニズムに適用。
• 実数値Transformerを音声強調に適用し、ノイズ混在STFT振幅スペクトルにマスクを適用してISTFTによりクリアな音声を再構築。
• 客観的品質と主観的品質の両方を向上させるために、SDRとPESQを統合した損失関数を最適化に用いる。
• QUT-NOISE-TIMITおよびVoiceBank-DEMANDの2つのデータセット上で、実数値および複素数値バージョンを含め、エンドツーエンドでモデルを学習。

実験結果

リサーチクエスチョン

• RQ1 距離に基づく減衰を組み込んだ変更済み自己注意メカニズムが、音声強調タスクにおけるTransformer性能を向上させられるか。
• RQ2 ガウス重み付き注意は、標準自己注意および注意バイアスと比較して、SDRおよびPESQ指標で優れた性能を示すか。
• RQ3 提案されたT-GSAモデルは、CNN-LSTMなどの最先端の再帰型モデルを上回る性能を発揮するか。
• RQ4 注意重み付けにおける学習可能なガウス分散が、音響信号処理に与える影響は何か。
• RQ5 T-GSAモデルは多様なノイズ環境に一般化可能であり、客観的および主観的指標において一貫した向上を達成できるか。

主な発見

• QUT-NOISE-TIMITデータセットにおいて、T-GSAは全SNR範囲で元のTransformer（O-T）を著しく上回り、SDRで最大1.5 dBの向上、PESQで0.25–0.35ポイントの向上を達成した。
• T-GSAは以前の最先端モデルであるCNN-LSTMを上回り、QUT-NOISE-TIMITデータセットで19.57 dBのSDRおよび3.06のPESQを達成した（CNN-LSTMは19.14 dBおよび3.01）。
• 複素数値Transformer（C-T-GSA）は、実数値T-GSAよりも0.1–0.2 dB高いSDRを達成したが、PESQ性能が劣化しており、位相推定に課題があることが示唆された。
• VoiceBank-DEMANDデータセットでは、T-GSAは4.18のCSIG、3.59のCBAK、3.62のCOVL、3.06のPESQ、10.78のSSNR、19.57のSDRを達成し、SEGAN、WaveNet、TF-GANを含むすべての比較生成モデルを上回った。
• 注意バイアスとガウス重み付けの間には顕著な性能差があり、ガウス減衰による負の相関モデリングが単純な位置バイアスより効果的であることが示された。
• 結果から、学習可能なガウス重みを用いた距離依存信号相関のモデリングが、Transformerベースのアーキテクチャにおける効果的な音声強調に不可欠であることが確認された。