[論文レビュー] Predict-and-Update Network: Audio-Visual Speech Recognition Inspired by Human Speech Perception

Jiadong Wang, Xinyuan Qian+1 more|arXiv (Cornell University)|Sep 5, 2022

Speech and Audio Processing被引用数 6

ひとこと要約

本論文では、人間の言語認識を模倣した予測・更新ネットワーク（P&U net）を提案する。視覚的信号が音声処理を予測・誘導する新しいエンドツーエンドの音声視覚認識モデルである。視覚埋め込みをクロスモーダルなConformerを介して音声表現に条件づけることで、最先端の性能を達成し、クリーンな状況では10%以上、ノイズの多い状況では40%以上のWER低減を達成した。

ABSTRACT

Audio and visual signals complement each other in human speech perception, so do they in speech recognition. The visual hint is less evident than the acoustic hint, but more robust in a complex acoustic environment, as far as speech perception is concerned. It remains a challenge how we effectively exploit the interaction between audio and visual signals for automatic speech recognition. There have been studies to exploit visual signals as redundant or complementary information to audio input in a synchronous manner. Human studies suggest that visual signal primes the listener in advance as to when and on which frequency to attend to. We propose a Predict-and-Update Network (P&U net), to simulate such a visual cueing mechanism for Audio-Visual Speech Recognition (AVSR). In particular, we first predict the character posteriors of the spoken words, i.e. the visual embedding, based on the visual signals. The audio signal is then conditioned on the visual embedding via a novel cross-modal Conformer, that updates the character posteriors. We validate the effectiveness of the visual cueing mechanism through extensive experiments. The proposed P&U net outperforms the state-of-the-art AVSR methods on both LRS2-BBC and LRS3-BBC datasets, with the relative reduced Word Error Rate (WER)s exceeding 10% and 40% under clean and noisy conditions, respectively.

研究の動機と目的

• 音声品質が低下するノイズの多い環境における耐障害性の高い音声認識の課題に対処すること。
• 口の動きが聴覚処理を予測・誘導する人間らしい視覚的ヒントのメカニズムをモデル化すること。
• 単なる後期または初期融合ではなく、予測的視覚プリミングを統合した早期融合により、音声視覚認識を向上させること。
• 視覚的ヒントが、特に音声が汚損している場合に耐障害性を向上させることを検証すること。
• 音声視覚認識において、単なる信号の補完性よりも視覚信号の相互作用がより効果的であることを示すこと。

提案手法

• P&U netはまず、視覚エンコーダーを用いて視覚信号から文字の事後確率を予測し、予測的ヒントとして機能する視覚埋め込みを生成する。
• この視覚埋め込みは、新たなクロスモーダルなConformerブロックを介して音声ストリームを条件づける。このブロックは、要因分解型励起FFNを用いて音声表現を更新する。
• 標準のFFNレイヤーを、動的でモダリティに適応した特徴再キャリブレーションを可能にする要因分解型励起メカニズムに置き換えることで、クロスモーダルなConformerが設計される。
• モデルは、音声処理の前段階で視覚予測を統合することで、初期融合を採用し、人間の脳の予測的注意メカニズムを模倣する。
• 教師強制学習モードで、文字レベルの事後確率に対する交差エントロピー損失を用いて学習を行い、事前学習済みの単モダリティモデルを初期化に使用する。
• 特にSNRが変化する条件下でのモダリティ整合性を分析するために、音声・視覚の文脈表現間のコサイン類似度が用いられる。

Figure 1: The universal diagram of end-to-end lip reading or ASR . Input can be video or audio.

実験結果

リサーチクエスチョン

• RQ1 視覚的信号は、補完的入力としての役割に加え、AVSRにおける音声処理を誘導する予測的ヒントとして利用可能だろうか？
• RQ2 音声入力を予測する視覚的ヒントメカニズムは、ノイズの多い環境における認識の耐障害性を向上させるだろうか？
• RQ3 ネットワークアーキテクチャ内での視覚的条件づけの位置が性能に与える影響は何か？
• RQ4 視覚埋め込みの次元が認識精度に与える影響はどの程度か？
• RQ5 AVSRにおいて、標準的な初期融合や後期融合戦略よりも視覚的ヒントメカニズムが優れているとされるだろうか？

主な発見

• P&U netは、LRS2-BBCデータセットにおいて、クリーンな状況下で最先端手法比で10%以上の相対的WER低減を達成し、ノイズの多い状況下では40%以上の低減を達成した。
• 低SNR下でも、音声・視覚表現間のコサイン類似度がより高い水準を維持するため、P&U netはベースラインAV Conformerを上回った。これは、より良いモダリティ整合性を示している。
• P&U net（後期）バージョンは、ノイズの多い状況下で優れた耐障害性を示し、SNRが低下するにつれてコサイン類似度の低下が遅くなった。
• 視覚埋め込みの次元（K=16から128）は性能にほとんど影響を与えず、中程度のサイズの埋め込みで十分なヒント効果が得られると示唆された。
• 最初のFFNレイヤーに要因分解型励起モジュールを導入すると、2番目や両方を置き換えるよりも優れた性能が得られた。これは、初期段階での視覚的ヒントの有効性を裏付けている。
• 両方のFFNレイヤーに要因分解型励起モジュールを導入すると性能が低下した。これは、視覚的ヒントを一様に適用するのではなく、選択的に適用すべきであることを示している。

Figure 2: The general block diagram of our proposed P&U net which adopts video modality to predict a sequence of a coarse probability distribution, i.e., visual embedding, towards the target text transcription. The audio input is then augmented with the visual embedding for speech recognition via an