[論文レビュー] Speech Enhancement Using Multi-Stage Self-Attentive Temporal Convolutional Networks

Ju Lin, A. van Wijngaarden+2 more|arXiv (Cornell University)|Feb 24, 2021

Speech and Audio Processing参考文献 53被引用数 4

ひとこと要約

本稿では、自己注意機構と拡張畳み込みニューラルネットワーク（dilated TCN）ブロックを用い、受容 field を段階的に拡大することで、前の段階の出力を段階的に改善する多段階自己注意型時系列畳み込みネットワーク（SA-TCN）を提案する。5段階のモデルを用いることで、LibriSpeech および VCTK データセットにおいて最先端の性能を達成し、PESQ、STOI、SI-SDR スコアを向上させつつ、パラメータ数を低く抑え、計算効率も高い。

ABSTRACT

Multi-stage learning is an effective technique to invoke multiple deep-learning modules sequentially. This paper applies multi-stage learning to speech enhancement by using a multi-stage structure, where each stage comprises a self-attention (SA) block followed by stacks of temporal convolutional network (TCN) blocks with doubling dilation factors. Each stage generates a prediction that is refined in a subsequent stage. A fusion block is inserted at the input of later stages to re-inject original information. The resulting multi-stage speech enhancement system, in short, multi-stage SA-TCN, is compared with state-of-the-art deep-learning speech enhancement methods using the LibriSpeech and VCTK data sets. The multi-stage SA-TCN system's hyper-parameters are fine-tuned, and the impact of the SA block, the fusion block and the number of stages are determined. The use of a multi-stage SA-TCN system as a front-end for automatic speech recognition systems is investigated as well. It is shown that the multi-stage SA-TCN systems perform well relative to other state-of-the-art systems in terms of speech enhancement and speech recognition scores.

研究の動機と目的

• 自己注意機構と時系列畳み込みネットワークを組み合わせた多段階学習を活用することで、音声強調性能を向上させること。
• 深層順序モデルにおける音声情報の劣化を解消するために、後段の段階に特徴融合ブロックを導入すること。
• 多様なノイズ環境下でも高い性能を維持できる、パラメータ効率の良いアーキテクチャを設計すること。
• 自動音声認識（ASR）システムのフロントエンドとしての有効性を評価すること。
• 自己注意機構、融合ブロック、段階数が全体の強調品質に与える影響を調査すること。

提案手法

• 各段階は、倍増する拡張率を持つ R 個の L 個の時系列畳み込みネットワーク（TCN）ブロックの直前に自己注意（SA）ブロックを配置する。
• TCN ブロックは、パラメータ数を著しく増加させることなく、時間的受容 field を拡大するために拡張 1D 畳み込みを用いる。
• 第3段階以降から特徴融合ブロックを導入し、元のノイズあり特徴を再挿入することで、音声コンテンツを保持する。
• 各段階でソフトマスクを予測し、暗黙的に理想比マスク（IRM）を近似することで、段階的に強調信号を改善する。
• システムは入力としてスペクトログ램の大きさを用い、元のノイズあり位相を用いて時間領域波形を再構築する。
• 段階数、SA ブロックの使用、融合ブロックの統合といったハイパーパramータは、LibriSpeech および VCTK データセットを用いて微調整される。

実験結果

リサーチクエスチョン

• RQ1 多段階学習を用いた SA-TCN は、単一段階モデルと比較して、どのように音声強調性能を向上させるか？
• RQ2 自己注意機構と融合ブロックを組み込むことで、強調品質とパラメータ効率にどのような影響を与えるか？
• RQ3 段階数が性能に与える影響は何か？また、ある段階数を超えると性能が飽和するか？
• RQ4 提案された多段階 SA-TCN システムは、自動音声認識（ASR）システムのフロントエンドとして効果的か？
• RQ5 PESQ、STOI、SI-SDR といった客観的指標において、最先端手法と比較してどのように性能を発揮するか？

主な発見

• 5段階の SA-TCN システムは、VCTK データセットで PESQ 3.02、STOI 0.9439、SI-SDR 18.48 の最高の全体的性能を達成した。
• 段階数を増やすことで性能は一貫して向上するが、4段階を超えると増加率が小さくなり、暗黙的な上限に近づく傾向が示された。
• 自己注意機構と融合ブロックの導入により、LibriSpeech および VCTK データセットの両方で PESQ、STOI、CSIG スコアに顕著な向上が見られた。
• 5段階の SA-TCN モデルはたった 991 万パラメータで最先端の結果を達成し、高い効率性と低コストな計算を実現した。
• スペクトログ램の可視化により、ノイズ抑制が効果的に実施されつつも、音声パターンが保持されていることが確認され、音声品質と聞き取りやすさが著しく向上した。
• ASR のフロントエンドとして用いた場合、認識スコアが向上し、下流タスクにおける強靭性と実用性が裏付けられた。