[論文レビュー] Transformer-Based Video Front-Ends for Audio-Visual Speech Recognition for Single and Multi-Person Video

Dmitriy Serdyuk, Otavio Braga+1 more|arXiv (Cornell University)|Jan 25, 2022

Speech and Audio Processing被引用数 6

ひとこと要約

本稿では、音声視覚語用認識における3次元畳み込みネットワークの代わりに、ビデオ変換器（ViT）フロントエンドを提案する。ビデオクリップを3次元パッチとして処理し、自己注意機構を用いて視覚特徴を抽出する。ViTベースのフロントエンドは最先端の性能を達成し、LRS3-TEDで畳み込みベースライン比15%相対的WER低減を達成し、微調整後には1.6% WERにまで低下する。

ABSTRACT

Audio-visual automatic speech recognition (AV-ASR) extends speech recognition by introducing the video modality as an additional source of information. In this work, the information contained in the motion of the speaker's mouth is used to augment the audio features. The video modality is traditionally processed with a 3D convolutional neural network (e.g. 3D version of VGG). Recently, image transformer networks arXiv:2010.11929 demonstrated the ability to extract rich visual features for image classification tasks. Here, we propose to replace the 3D convolution with a video transformer to extract visual features. We train our baselines and the proposed model on a large scale corpus of YouTube videos. The performance of our approach is evaluated on a labeled subset of YouTube videos as well as on the LRS3-TED public corpus. Our best video-only model obtains 31.4% WER on YTDEV18 and 17.0% on LRS3-TED, a 10% and 15% relative improvements over our convolutional baseline. We achieve the state of the art performance of the audio-visual recognition on the LRS3-TED after fine-tuning our model (1.6% WER). In addition, in a series of experiments on multi-person AV-ASR, we obtained an average relative reduction of 2% over our convolutional video frontend.

研究の動機と目的

• 視覚変換器（ViT）アーキテクチャが、音声視覚語用認識のビデオフロントエンドにおいて3次元畳み込みネットワークを上回ることを調査すること。
• 特にリップリーディングや多人数シナリオにおいて、ViTベースのビデオ符号化の有効性を低リソースおよびノイジーな条件下で評価すること。
• 大規模なYouTubeデータセットでの微調整を通じて、LRS3-TEDベンチマークで最先端の性能を達成すること。
• 人工的に追加されたバブリングノイズを用いた劣化音声条件下でのViTと畳み込みフロントエンドのロバストネスを比較すること。
• 多様なYouTube動画で事前学習した後、高品質なTEDデータで微調整した際のドメインシフト効果を分析すること。

提案手法

• ビデオフロントエンドは、入力ビデオを32×32×8のサイズの3次元パッチに分割し、各パッチを学習可能な線形投影によって埋め込み表現に変換する。
• マルチヘッド自己注意機構とフィードフォワード層を備えた標準的な変換器エンコーダが、埋め込みパッチを処理し、グローバルな空間時間的依存関係を抽出する。
• 視覚特徴は240次元のlog-Mel音声特徴と連結され、その後、シーケンス・トゥ・シーケンスモデリングのための下流AVエンコーダ（変換器またはコンフォーマー）に供給される。
• モデルは、RNN-T損失を用いたエンド・トゥ・エンド学習により、大規模なYouTube動画データセットで事前学習され、その後LRS3-TEDデータセットで微調整される。
• ロバストネス評価のため、LRS3-TEDテストセットに20dB、10dB、0dB SNRのバブリングノイズを付加し、劣化音声下での性能を評価する。
• 多人数AV-ASRは、重複発話を持つYouTube動画のサブセットで評価され、ViTと畳み込みフロントエンドの性能が比較される。

実験結果

リサーチクエスチョン

• RQ1 ビデオ変換器ベースのビデオフロントエンドは、音声視覚語用認識において3次元畳み込みネットワークと同等またはそれ以上の性能を達成できるか？
• RQ2 ViTフロントエンドは、リップリーディングのような低リソース設定（ビデオオンリー入力）において性能向上をもたらすか？
• RQ3 劣化音声条件下（特に追加されたバブリングノイズあり）でViTフロントエンドはどのように性能を発揮するか？
• RQ4 高品質なTEDデータでの微調整により、LRS3-TEDで最先端の性能が達成可能か？また、ViTフロントエンドは畳み込みベースラインよりも一般化性能に優れるか？
• RQ5 重複する発話と視覚入力がある多人数シナリオにおいて、ViTフロントエンドはどのように対処するか？

主な発見

• ViTベースのビデオフロントエンドは、YTDEV18データセットで31.4% WERを達成し、3次元畳み込みベースライン（40.5% WER）比で10%相対的改善を達成した。
• LRS3-TEDデータセットでは、ビデオオンリー設定で17.0% WERを達成し、畳み込みベースライン（28.2% WER）比で15%相対的改善を達成した。
• YouTubeとLRS3-TEDデータの50-50ミックスで微調整した後、ViTベースのモデルはLRS3-TEDで1.6% WERにまで低下し、以前の最先端性能と一致した。
• ノイジーな状態（0dBバブリングノイズ）でも、ViTフロントエンドは強固な性能を維持し、音声オンリーモデルの6.1% WERに対し2.9% WERを達成した。
• 多人数AV-ASRシナリオでは、ViTフロントエンドが畳み込みベースラインを平均2%相対的WER低減で上回った。
• LRS3-TEDでの微調整はリップリーディング性能を向上させなかったが、これはYouTubeとTEDデータセット間の音声品質のドメインシフトが原因とされる。