[論文レビュー] Dual-path Self-Attention RNN for Real-Time Speech Enhancement

Ashutosh Pandey, DeLiang Wang|arXiv (Cornell University)|Oct 23, 2020

Speech and Audio Processing参考文献 22被引用数 13

ひとこと要約

本稿では、時間領域音声強調モデルとして、二重パスRNN（DP-RNN）のRNNを自己注意RNN（SARNN）に置き換えることで長時間シーケンスモデリングを向上させる、二重パス自己注意RNN（DP-SARNN）を提案する。4倍のフレームシフトと因果的注意機構を用いることで、32 msのチャンクあたり7.9 msのリアルタイム処理を達成し、オフラインおよびリアルタイムの両設定で先行手法を上回る性能を発揮する。

ABSTRACT

We propose a dual-path self-attention recurrent neural network (DP-SARNN) for time-domain speech enhancement. We improve dual-path RNN (DP-RNN) by augmenting inter-chunk and intra-chunk RNN with a recently proposed efficient attention mechanism. The combination of inter-chunk and intra-chunk attention improves the attention mechanism for long sequences of speech frames. DP-SARNN outperforms a baseline DP-RNN by using a frame shift four times larger than in DP-RNN, which leads to a substantially reduced computation time per utterance. As a result, we develop a real-time DP-SARNN by using long short-term memory (LSTM) RNN and causal attention in inter-chunk SARNN. DP-SARNN significantly outperforms existing approaches to speech enhancement, and on average takes 7.9 ms CPU time to process a signal chunk of 32 ms.

研究の動機と目的

• 騒音環境下における低遅延・リアルタイム音声強調のニーズに対応する。
• 二重パスRNNに注意機構を統合することで、時間領域音声強調における長時間シーケンスモデリングを向上させる。
• 計算コストと処理遅延を低減しながら、強調品質を維持または向上させる。
• 既存の時間領域手法を上回る性能を発揮する因果的でリアルタイム推論が可能なモデルを開発する。
• 今後の研究において提案されたアーキテクチャのクロスコーパス一般化を実現する。

提案手法

• 最近提案された自己注意RNN（SARNN）を二重パスRNN（DP-RNN）に統合し、チャンク間およびチャンク内モデリングを強化する。
• 学習可能なクエリ、キー、バリューのベクトルを介してパラメータ効率の良い注意機構をRNNと組み合わせたSARNNブロックを採用する。
• 訓練の安定化と勾配の流れの改善を図るため、残差接続と層正則化を適用する。
• リアルタイム推論能力を確保するため、チャンク間SARNNに因果的注意機構を実装する。
• ベースラインDP-RNN（2 ms）と比較して4倍大きなフレームシフト（8 ms）を採用し、処理負荷と遅延を低減する。
• 高速収束を実現するため、位相制約付きマグニチュード（PCM）損失とミックスドプレシジョン学習を用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構は、時間領域音声強調における二重パスRNNの長時間シーケンスモデリングを改善できるか？
• RQ2 DP-RNNにおけるRNNをSARNNに置き換えることで、計算コストを低減しながら性能を維持または向上できるか？
• RQ3 因果的SARNNベースのアーキテクチャは、低遅延でリアルタイム処理を達成できるか？
• RQ4 提案されたDP-SARNNは、SOTAの時間領域モデルと比較してSTOIおよびPESQスコアで優れているか？
• RQ5 フレームシフトを拡大することで、リアルタイム音声強調におけるモデル性能と遅延にどのような影響が生じるか？

主な発見

• DP-SARNNは32 msの信号チャンクあたり平均7.9 msのCPU処理時間を達成し、リアルタイム応用に適している。
• DP-SARNNはモデル複雑度がより高いにもかかわらず、DCN（11.0 ms）およびDP-RNN（17.4 ms）を上回る処理速度を達成している。
• 平均して、DP-SALSTMはDCNよりもSTOIを1.7%、PESQを0.15点向上させており、-5 dB SNRでの増加が最も顕著である。
• 非因果的DP-SABLSTMバージョンは、すべてのモデルの中で最高の性能を発揮し、DP-BLSTMおよび他のベースラインを上回るSTOIおよびPESQスコアを達成している。
• DP-SALSTMは遅延を低減しながらも優れた性能を維持しており、注意機構を併用した大きなフレームシフトが品質を保持できることを示している。
• モデルの性能は多様なノイズタイプおよびSNRレベルにおいて頑健であり、バブルノイズおよびカフェテリアノイズを用いたテストセットにおいても優れた一般化性能を示している。