[論文レビュー] A Recursive Network with Dynamic Attention for Monaural Speech Enhancement

Andong Li, Chengshi Zheng+3 more|arXiv (Cornell University)|Mar 29, 2020

Speech and Audio Processing参考文献 28被引用数 6

ひとこと要約

本稿では、ノイズ低減ネットワークと分離されたアテンション生成モジュールを組み合わせ、特徴量のフローを適応的に制御する動的アテンション（DARCN）を備えた再帰的ネットワークを、単一耳音声強調に提案する。再帰的学習と動的アテンション制御を用いて、1つのネットワークを複数の段階で再利用することで、DARCNはパrameter数をわずか123万に削減しながら、最先端のPESQおよびSTOIスコアを達成した。これは、優れた性能とパrameter効率性を示している。

ABSTRACT

A person tends to generate dynamic attention towards speech under complicated environments. Based on this phenomenon, we propose a framework combining dynamic attention and recursive learning together for monaural speech enhancement. Apart from a major noise reduction network, we design a separated sub-network, which adaptively generates the attention distribution to control the information flow throughout the major network. To effectively decrease the number of trainable parameters, recursive learning is introduced, which means that the network is reused for multiple stages, where the intermediate output in each stage is correlated with a memory mechanism. As a result, a more flexible and better estimation can be obtained. We conduct experiments on TIMIT corpus. Experimental results show that the proposed architecture obtains consistently better performance than recent state-of-the-art models in terms of both PESQ and STOI scores.

研究の動機と目的

• 動的アテンションを再帰的学習と統合することで、より優れたノイズ抑制を実現する単一耳音声強調の向上。
• 性能を損なわずに深層音声強調モデルの学習可能なパラメータ数を削減すること。
• 適応的アテンション機構を用いて、未知のノイズ条件においてもモデルの汎化能力を向上させること。
• 音声強調のための深層ニューラルネットワークにおける勾配消失およびモデルの深さ制限の問題を解決すること。
• 複数段階にわたり推定値を段階的に改善する、パラメータ効率の良いアーキテクチャの開発。

提案手法

• 別個のアテンション生成モジュール（AGM）が各段階ごとに動的かつアテンション重みを生成し、メインのノイズ低減ネットワーク（NRM）における特徴量のフローを変調する。
• 同じネットワークを複数段階で再利用する段階再帰型ニューラルネットワーク（SRNN）アーキテクチャを採用し、中間出力を補正するためのメモリ機構を備える。
• アテンション重みはポイントワイド畳み込みとシグモイド活性化関数を用いて適用され、NRMにおける特徴量の重み付けを適応的に行う。
• 平均二乗誤差（MSE）損失とAdam最適化を用いたマルチステージ学習パラダイムを採用し、早期停止と学習率の段階的低下を実施する。
• U-Netに類似たエンコーダ-デコーダ構造に、残差接続とゲート付き畳み込みを組み合わせ、頑健なスペクトル推定を実現する。
• フレームワークはTIMITコーパスを用いて学習・評価され、音声の知覚的品質と話者の理解度を評価する指標としてPESQとSTOIが使用される。

実験結果

リサーチクエスチョン

• RQ1 動的アテンションは、時間周波数ビンごとの特徴量の重要度を適応的に制御することで、音声強調性能の向上を図れるか？
• RQ2 パラメータ再利用を伴う再帰的学習は、パrameter数を削減しながらモデルの深さと性能を向上させられるか？
• RQ3 見たことのないノイズ条件下でも、提案フレームワークは最先端モデルと比較してPESQおよびSTOIにおいて優れた性能を示すか？
• RQ4 再帰的アーキテクチャにおいて、性能と過学習のバランスを取る最適な段階数（Q）は何か？
• RQ5 提案モデルは、低パラメータ数を維持しながら、未知のノイズタイプに対しても良好な汎化能力を示せるか？

主な発見

• 提案されたDARCNモデルは、見慣れたノイズ条件下でCRNベースライン比で平均PESQが0.16向上し、STOIは1.01%向上した。
• 未知のノイズ条件下でも一貫した性能向上を示し、優れた汎化能力を示した。
• 学習可能なパラメータ数を123万にまで削減したが、これはCRN（1758万）、GRN（313万）、DCN（292万）、SLSTM（3681万）と比べ顕著に低い。
• 段階数（Q）が3まで増加するにつれて性能が向上したが、以降はMSE損失と知覚的指標の最適化目的が矛盾するため、PESQがわずかに低下した。
• 動的アテンション機構により、関連するスペクトル成分に適応的に注目することで、ノイズ抑制が向上し、STOIおよびPESQスコアの向上が裏付けられた。
• 再帰的学習機構により、追加のパラメータを追加せずにネットワークの深さを向上させることができ、表現学習を強化しながらも、低遅延を維持した。