[論文レビュー] End-to-end Audio-visual Speech Recognition with Conformers

Pingchuan Ma, Stavros Petridis+1 more|arXiv (Cornell University)|Feb 12, 2021

Speech and Audio Processing参考文献 36被引用数 4

ひとこと要約

本論文では、rawな波形と画像から一括して音声・視覚特徴を抽出するためのConformerを用いたエンド・ツー・エンド音声・視覚認識モデルを提示する。ハイブリッドCTC/アテンションデコーダーとTransformerベースの言語モデルを採用し、LRS2およびLRS3で最先端の性能を達成した。LRS3 v0.0では音声・視覚融合で1.2%（WER）、LRS3 v0.4では2.3%（WER）まで誤り率を低下させ、顕著に少ない学習データで先行手法を上回った。

ABSTRACT

In this work, we present a hybrid CTC/Attention model based on a ResNet-18 and Convolution-augmented transformer (Conformer), that can be trained in an end-to-end manner. In particular, the audio and visual encoders learn to extract features directly from raw pixels and audio waveforms, respectively, which are then fed to conformers and then fusion takes place via a Multi-Layer Perceptron (MLP). The model learns to recognise characters using a combination of CTC and an attention mechanism. We show that end-to-end training, instead of using pre-computed visual features which is common in the literature, the use of a conformer, instead of a recurrent network, and the use of a transformer-based language model, significantly improve the performance of our model. We present results on the largest publicly available datasets for sentence-level speech recognition, Lip Reading Sentences 2 (LRS2) and Lip Reading Sentences 3 (LRS3), respectively. The results show that our proposed models raise the state-of-the-art performance by a large margin in audio-only, visual-only, and audio-visual experiments.

研究の動機と目的

• 事前計算された特徴量を用いない、rawな音声および動画入力を直接処理できるエンド・ツー・エンド音声・視覚認識モデルの開発。
• 再帰的ネットワークをConformerに置き換えることで性能を向上させ、Transformerベースの言語モデルを採用する。
• 事前抽出特徴量を用いるモデルと比較して、raw入力での統合的エンド・ツー・エンド学習が優れた結果をもたらすことを実証する。
• LRS2およびLRS3といった大規模かつ現実世界のデータセット（クリアな状態およびノイズ混在状態を含む）でモデルを評価する。
• 音声・視覚融合が高ノイズ環境下での耐性向上に顕著に寄与することを示す。

提案手法

• 視覚入力には3次元畳み込みを用いた変更版ResNet-18、音声入力には1次元畳み込みを用い、画像および波形からraw特徴を抽出する。
• 視覚および音声特徴は、時系列モデリングに畳み込みと自己注意機構を統合したConformerエンコーダーで処理する。
• 両モodalの特徴はMLP（多層パーセプトロン）を用いて融合され、その後ハイブリッドCTC/アテンションデコーダーへ入力される。
• CTC損失とアテンション損失を併用し、Transformerベースの言語モデルを用いてエンド・ツー・エンドで学習する。
• ノイズ環境下での耐性向上を図るため、log-Melフィルタバンク特徴量ではなくraw音声波形を用いる。
• LRS2およびLRS3でアーキテクチャを評価し、データ量、入力モダリティ、学習戦略に関するアブレーションスタディを実施。

Fig. 1 : End-to-end audio-visual speech recognition architecture. The inputs are pixels and raw audio waveforms.

実験結果

リサーチクエスチョン

• RQ1 事前計算された特徴量を用いるモデルと比較して、raw音声および視覚入力でのエンド・ツー・エンド学習が音声・視覚認識性能の向上に寄与するか？
• RQ2 再帰的ネットワークをConformerに置き換えることで、音声・視覚認識性能に顕著な向上が得られるか？
• RQ3 RNNベースのモデルと比較して、Transformerベースの言語モデルを採用することで認識精度がどのように向上するか？
• RQ4 より大きなデータセットで学習したモデルと比較して、小さなデータセットで学習したモデルが、特にノイズ混在や困難な条件下でも優れた性能を示せるか？
• RQ5 音声・視覚融合が高ノイズ環境下での耐性向上にどのように寄与するか？

主な発見

• 提案モデルは、LRS3 v0.0における音声・視覚認識で1.2%（WER）という、新たな最先端性能を達成した。
• LRS3 v0.4では、音声・視覚認識で2.3%（WER）を達成し、先行手法を2.2ポイント以上上回った。
• 視覚のみのモデルは、LRS3 v0.4で43.3%（WER）を達成し、少ない学習データでさえも従来手法を上回った。
• 音声のみのモデルは、LRS3 v0.0で1.3%（WER）を達成し、v0.4では2.3%に低下した。これは、raw音声学習による耐性の高さを示している。
• 31,000時間のYTデータで学習した手法と比較して、LRS3データの438時間のみで学習した本モデルが優れた性能を示し、データ効率の高さを実証した。
• 音声・視覚融合は性能向上に顕著に寄与し、特に高ノイズ環境下で顕著に効果を示し、両モダリティの相補性を裏付けた。

Fig. 2 : Word Error Rate (WER) as a function of the noise level. A: End-to-End audio model. V: End-to-End visual model, AV: End-to-End audio-visual model. log-Mel filter-bank: A conformer model trained with log-Mel filter-bank features.