[論文レビュー] Recurrent Neural Network Transducer for Audio-Visual Speech Recognition

Takaki Makino, Hank Liao+5 more|arXiv (Cornell University)|Nov 8, 2019

Speech and Audio Processing参考文献 30被引用数 15

ひとこと要約

本論文では、31k時間のYouTube由来の音声・映像データセットを活用して、最先端の性能を達成するRNN-Tベースの音声・映像語学習認識システムを提案する。音声と映像の特徴を同期化し、RNN-Tによる統合モデリングを実施することで、LRS3-TEDベンチマークにおいて語誤り率（WER）を4.5%まで低減し、騒音環境や重複音声条件下でも顕著な耐障害性を示す。

ABSTRACT

This work presents a large-scale audio-visual speech recognition system based on a recurrent neural network transducer (RNN-T) architecture. To support the development of such a system, we built a large audio-visual (A/V) dataset of segmented utterances extracted from YouTube public videos, leading to 31k hours of audio-visual training content. The performance of an audio-only, visual-only, and audio-visual system are compared on two large-vocabulary test sets: a set of utterance segments from public YouTube videos called YTDEV18 and the publicly available LRS3-TED set. To highlight the contribution of the visual modality, we also evaluated the performance of our system on the YTDEV18 set artificially corrupted with background noise and overlapping speech. To the best of our knowledge, our system significantly improves the state-of-the-art on the LRS3-TED set.

研究の動機と目的

• 挑戦的な音響環境下でも耐障害性を高めるスケーラブルでエンドツーエンドの音声・映像語学習認識システムの開発。
• 特に騒音環境や重複音声状況下で限界を示す単モodal ASRシステムの課題の解消。
• 同期化された特徴を用いた統一されたRNN-Tアーキテクチャを用いて、音声と映像モダリティを統合する利点の探求。
• 顔追跡とキャプション同期を用いて、公開YouTube動画から完全に自動化された大規模な音声・映像学習データセットの構築。
• 特に音声が劣化した状況下で、映像モダリティが認識性能を顕著に向上させることの実証。

提案手法

• ユーザーがアップロードしたキャプションと顔追跡を用いて、YouTubeから自動的に150k時間の音声のみのデータセットをマイニングし、そのうち31k時間分の音声・映像発話文を抽出。
• 顔ランドマークのスムージングを実施し、固定された短時間フーリエ変換窓を用いて音声フレームレートを映像フレームレートに合わせて音声と映像の特徴を同期化。
• 口元領域のスナップショットから視覚的埋め込みを抽出するVGGを模したCNNと、メルフィルターバンク係数を音声特徴として使用。
• 別個のエンコーダーとデコーダーを備えたRNN-Tアーキテクチャを採用。エンコーダーは音声と映像入力を処理し、デコーラーは文字レベルの出力を生成。
• シーケンス・ツー・シーケンス損失を用いてエンコーダー、デコーダー、およびジョイントネットワークを同時に学習。これにより、暗黙の言語モデリングと単調なアライメントが可能に。
• 文字レベル出力を用いたエンドツーエンド学習を実装し、発音記号ベースの変換を必要とせず、オープンボキャブラリー認識を実現。

実験結果

リサーチクエスチョン

• RQ1 RNN-Tベースの音声・映像ASRシステムは、LRS3-TEDのような大ボキャブラリーのベンチマークで最先端の性能を達成できるか？
• RQ2 背景ノイズや重複音声の存在下で、映像モダリティは認識の耐障害性をどのように向上させるか？
• RQ3 小規模で手作業で整備されたデータセットと比較して、大規模で自動的に構築された音声・映像データセットは、システム性能をどの程度向上させるか？
• RQ4 顔のサイズ、アングル、解像度などの動画品質の違いが、映像のみのASRの性能に与える影響はどの程度か？
• RQ5 実世界の条件下で、RNN-TアーキテクチャはCTCやアテンションベースのモデルを上回る性能を示すか？

主な発見

• 音声・映像RNN-Tシステムは、LRS3-TEDベンチマークで語誤り率（WER）4.5%を達成し、論文発表当時、最先端の結果を記録した。
• 映像のみのシステムはLRS3-TEDでWER 33.6%を記録し、先行する映像のみのモデル（CTC-V2P：55.1%）を著しく上回り、高品質なスタジオ録音条件下でも優れた性能を示した。
• 人工的なノイズを加えた条件下でも、音声・映像システムはWER 4.5%を維持し、音声のみシステム（4.8%）よりも顕著に優れており、劣化環境下でも耐障害性を示した。
• より困難なYTDev18セットでは、映像のみシステムのWERは48.5%に上昇し、低品質な動画セグメントでは57.0%にまで上昇した。これは、画像品質への感受性と現実世界のばらつきへの脆弱性を示している。
• LRS3-TEDセットにおいて、音声・映像システムはTM-seq2seqモデル（7.2% WER）を上回り、より大規模なデータセットとRNN-Tアーキテクチャの利点を実証した。
• 音声のみの学習・推論ではWER 4.8%、音声・映像の組み合わせでは4.5%を記録した。これは、大規模な音声のみデータを用いても、視覚的入力が一貫して測定可能な改善をもたらすことを示している。