[論文レビュー] Interactive Feature Fusion for End-to-End Noise-Robust Speech Recognition

Yu‐Chen Hu, Nana Hou+2 more|arXiv (Cornell University)|Oct 11, 2021

Speech and Audio Processing被引用数 5

ひとこと要約

本稿では、騒音環境下でのエンドツーエンド自動音声認識（ASR）の性能向上を目的として、強化済み音声特徴とノイズ混在特徴を共同で統合するインタラクティブ特徴統合ネットワーク（IFF-Net）を提案する。双方向的な相互作用と学習可能な重みマスクを用いることで、音声強調における過剰抑制を効果的に軽減し、RATS Channel-Aコーパスにおいて最良のベースライン比で語誤り率（WER）を4.1%低減した。

ABSTRACT

Speech enhancement (SE) aims to suppress the additive noise from a noisy speech signal to improve the speech's perceptual quality and intelligibility. However, the over-suppression phenomenon in the enhanced speech might degrade the performance of downstream automatic speech recognition (ASR) task due to the missing latent information. To alleviate such problem, we propose an interactive feature fusion network (IFF-Net) for noise-robust speech recognition to learn complementary information from the enhanced feature and original noisy feature. Experimental results show that the proposed method achieves absolute word error rate (WER) reduction of 4.1% over the best baseline on RATS Channel-A corpus. Our further analysis indicates that the proposed IFF-Net can complement some missing information in the over-suppressed enhanced feature.

研究の動機と目的

• 音声強調における過剰抑制が原因で失われる潜在的情報を保持することで、その結果生じる下流のASR性能の低下を是正すること。
• マルチタスク学習フレームワークを用いて音声強調モジュールとASRモジュールを共同で学習させることで、ノイズ耐性の高いASRを向上させること。
• 強化済み特徴と元のノイズ混在特徴の両方から補完的情報を学習する特徴統合機構を開発し、より耐障害性の高いASR入力を再構築すること。
• 騒音下の音声認識において、逐次的・統合的・ゲート付き統合アプローチと比較して、インタラクティブな特徴統合が優れた性能を発揮することを実証すること。

提案手法

• IFF-Netは、強化済み特徴用とノイズ混在特徴用の2本の並列ブランチから構成され、相互作用モジュールによって双方向の特徴交換が可能となる。
• 各ブランチは、空間的およびチャネルワイドな解像度を保持するためのアップサンプリングおよびダウンサンプリング畳み込みブロックを用い、その後に分離可能自己アテンション（SSA）を備えた残差アテンション（RA）ブロックを適用してグローバルな文脈をモデル化する。
• 相互作用モジュールにより、各ブランチが相手ブランチの特徴に注目し、それらを調整することで、補完的特徴の学習を強化する。
• 学習可能なマージモジュールが動的重みマスクを生成し、相互作用後の特徴を適応的に統合する。この際、強化済み音声からのクリアな成分とノイズ混在音声からの耐障害性の高い成分を優先的に統合する。
• ASR損失と音声強調再構成損失を組み合わせたマルチタスク目的関数を用いて、エンドツーエンドで全システムを学習する。
• アテンション誘導による統合により、強化済み特徴の過剰抑制領域における音声コンテンツを保持すると同時に、ノイズを効果的に抑制するアーキテクチャが設計されている。

実験結果

リサーチクエスチョン

• RQ1 標準的な共同学習と比較して、強化済みおよびノイズ混在音声特徴のインタラクティブ統合は、騒音下のエンドツーエンドASRにおける語誤り率（WER）を低減できるか？
• RQ2 元のノイズ混在特徴からの情報を保持することで、音声強調における過剰抑制が引き起こす性能低下はどの程度軽減できるか？
• RQ3 IFF-Netの個々の構成要素（相互作用モジュール、SSAブロック、マージモジュール）は、最終的なASR性能にどのように寄与しているか？
• RQ4 ノイズ→強化および強化→ノイズの双方向的相互作用は、片方向または非相互作用のアプローチに比べて顕著な利点を提供するか？
• RQ5 本手法は、逐次的・統合的・ゲート付き統合アプローチを含む既存のベースラインを上回る性能を発揮できるか？

主な発見

• IFF-Netは、RATS Channel-Aコーパスにおいて、最良のベースライン（GRF Network）と比較して、語誤り率（WER）を4.1%の絶対値で低減し、優れたノイズ耐性を示した。
• ノイズブランチを単独で除去すると、WERが3.3%絶対値で悪化し、元のノイズ混在特徴が抑制された音声コンテンツの回復に不可欠であることが確認された。
• インタラクティブモジュールの貢献は1.8%のWER低減に寄与しており、強化→ノイズ（e2n）およびノイズ→強化（n2e）の両方の相互作用経路が最適性能を達成するために不可欠であることが示された。
• 分離可能自己アテンション（SSA）モジュールは性能向上に顕著な寄与を示し、その除去によりWERが3.1%増加した。これは、長距離依存関係をモデル化するうえでSSAが極めて重要であることを示している。
• スペクトログラムの可視化結果から、IFF-Netはノイズ低減とより豊富な音声コンテンツを有する統合特徴を生成していることが確認された。特に、強化信号で過剰抑制が生じた領域において顕著であった。
• マージモジュールに学習された重みマスクは、音声成分を効果的に強調し、歪みを抑制することで、補完的特徴の最適統合を可能にした。