[論文レビュー] Attentive Fusion Enhanced Audio-Visual Encoding for Transformer Based Robust Speech Recognition

Liangfa Wei, Jie Zhang+2 more|arXiv (Cornell University)|Aug 6, 2020

Speech and Audio Processing参考文献 24被引用数 9

ひとこと要約

本論文は、トランスフォーマーに基づく耐障害性音声認識のための注意メカニズムを用いた融合強化型音声視覚符号化手法を提案する。この手法は、エンコーダー内にマルチヘッドアテンションに基づく融合ブロックを直接統合し、音声と視覚特徴を同時にモデル化する。最先端の手法と比較して、クリーン、既知のノイズ、未知のノイズ条件下で、それぞれ平均で0.55%、4.51%、4.61%の認識精度向上を達成する。

ABSTRACT

Audio-visual information fusion enables a performance improvement in speech recognition performed in complex acoustic scenarios, e.g., noisy environments. It is required to explore an effective audio-visual fusion strategy for audiovisual alignment and modality reliability. Different from the previous end-to-end approaches where the audio-visual fusion is performed after encoding each modality, in this paper we propose to integrate an attentive fusion block into the encoding process. It is shown that the proposed audio-visual fusion method in the encoder module can enrich audio-visual representations, as the relevance between the two modalities is leveraged. In line with the transformer-based architecture, we implement the embedded fusion block using a multi-head attention based audiovisual fusion with one-way or two-way interactions. The proposed method can sufficiently combine the two streams and weaken the over-reliance on the audio modality. Experiments on the LRS3-TED dataset demonstrate that the proposed method can increase the recognition rate by 0.55%, 4.51% and 4.61% on average under the clean, seen and unseen noise conditions, respectively, compared to the state-of-the-art approach.

研究の動機と目的

• ノイズ環境下での自動音声認識の耐障害性を、視覚モダリティ情報の活用によって向上させること。
• 従来のエンドツーエンド音声視覚融合手法がモダリティ符号化後に融合を実行するという制限を是正すること。この方法では、モダリティ間の相互作用が十分に活用されない可能性がある。
• 符号化プロセス中に音声視覚のアライメントと信頼性を統合することで、表現学習を強化する融合戦略を設計すること。
• 多様なノイズ条件下での認識精度向上に、注意メカニズムを用いた早期融合がどのように寄与するかを評価すること。
• 提案手法が、トレーニングデータに含まれない未観測のノイズ環境にも一般化できることを示すこと。

提案手法

• エンコーダー内に注意メカニズムを用いた融合ブロックを統合し、符号化段階で音声視覚表現を同時に学習する。符号化後に統合するのではなく、符号化段階で統合する。
• 片方向または双方向のモダリティ相互作用を用いたマルチヘッドアテンション機構を採用し、クロスモダリティの依存関係をモデル化する。
• 融合ブロックの入力として音声視覚特徴の連結を用い、その後に自己アテンションを適用して、モダリティ間のアライメントと関連性を学習する。
• エンコーダーの複数の層に融合ブロックを適用し、段階的にクロスモダリティの文脈を統合することで、表現を豊かにする。
• 早期融合戦略を採用し、デコーダーの前に音声と視覚特徴を融合することで、後期融合手法で見られるデコーダーの過負荷を回避する。
• 片方のモダリティからもう片方のモダリティに注目する共通のアテンションメカニズムを用い、信頼性の高いモダリティに動的重みを割り当てる。

実験結果

リサーチクエスチョン

• RQ1 符号化後に融合するのではなく、エンコーダー内に音声視覚融合を統合することで、低SNR環境下の音声認識の耐障害性が向上するか？
• RQ2 提案された注意メカニズムを用いた融合手法は、単純な連結や後期融合と比較して、さまざまなノイズ条件下でWERにどのように影響を与えるか？
• RQ3 本手法は、トレーニングデータに含まれないノイズタイプ（例：buccaneer2ノイズ）に対しても一般化可能か？
• RQ4 片方向と双方向のモダリティ相互作用の違いが、高SNRおよび低SNR条件下での性能に与える影響は何か？
• RQ5 融合メカニズムは、ノイズ環境下で音声モダリティへの過剰依存を軽減できるか？

主な発見

• 提案された注意メカニズムを用いた早期融合手法は、ベースラインと比較してクリーン条件下で平均0.55%のWER低減を達成した。
• 既知のノイズ（babbleノイズ）条件下では、最先端のベースラインと比較して4.51%の相対的WER低減を達成した。
• 未知のノイズ（buccaneer2）条件下では、平均で4.61%のWER低減を達成し、優れた一般化能力を示した。
• AV-align融合ブロックは、低SNR条件下でAV-concatやAV-crossを上回り、より優れた耐障害性を示した。
• AV-cross手法は高SNR条件下ではAV-alignを上回ったが、低SNR条件下では急激に性能が低下し、視覚ストリームのノイズ汚染に対して脆弱であることが示された。
• 注意メカニズムを用いた早期融合は、すべてのノイズ条件下で中間融合および後期融合戦略を一貫して上回った。