[論文レビュー] On Robustness to Missing Video for Audiovisual Speech Recognition

Oscar Chang, Otavio Braga+3 more|arXiv (Cornell University)|Dec 13, 2023

Speech and Audio Processing被引用数 4

ひとこと要約

本稿では、動画が欠落している場合でも性能劣化が発生しない堅牢な音声視覚語音認識フレームワークを提案する。標準化された評価プロトコルを導入し、キャスケードベースのアーキテクチャに依存しない手法が、ドロップアウトなどの既存手法よりも、動画欠落の度合が異なる状況下でも一貫して精度を維持することを示している。

ABSTRACT

It has been shown that learning audiovisual features can lead to improved speech recognition performance over audio-only features, especially for noisy speech. However, in many common applications, the visual features are partially or entirely missing, e.g.~the speaker might move off screen. Multi-modal models need to be robust: missing video frames should not degrade the performance of an audiovisual model to be worse than that of a single-modality audio-only model. While there have been many attempts at building robust models, there is little consensus on how robustness should be evaluated. To address this, we introduce a framework that allows claims about robustness to be evaluated in a precise and testable way. We also conduct a systematic empirical study of the robustness of common audiovisual speech recognition architectures on a range of acoustic noise conditions and test suites. Finally, we show that an architecture-agnostic solution based on cascades can consistently achieve robustness to missing video, even in settings where existing techniques for robustness like dropout fall short.

研究の動機と目的

• 音声視覚語音認識（AVASR）における動画欠落に対する耐性の評価に関する合意が存在しない問題に対処すること。
• AVASRモデルにおける耐性を正確かつ検証可能なフレームワークとして定義すること。
• 多様なノイズおよび動画ドロップアウト条件下での、一般的なAVASRアーキテクチャの耐性を実証的に評価すること。
• 動画が存在しない場合でも、性能が音声のみのベースラインを下回らないような、アーキテクチャに依存しないソリューションの開発と検証すること。

提案手法

• 形式的な耐性基準を提案：モデルがテスト時に追加の動画入力を受けると、性能が向上するか、変化しないかのいずれかであり、悪化してはならない。
• 動画欠落を異なる時間的位置とレートでシミュレートする3つの異なるテストスイート（$\tau_{\text{mid}}$、$\tau_{\text{end}}$、$\tau_{\text{rate}}$）を導入。
• 音声のみのモデルと動画拡張モデルを別々に学習し、それらを統合するキャスケードベースのアーキテクチャを採用。これにより、動画の有無に関わらず堅牢な推論が可能になる。
• 複数のノイズ条件（クリア、0dB、10dB、20dB SNR）および動画ドロップアウトレベルにおいて、主にWER（単語誤り率）を指標として用いる。
• 標準的なAVASRモデル（例：Conformer、LSTM）を動画あり・なしの両状態で適用し、AV、AO、AOベースライン条件での性能を比較。
• 多様なアーキテクチャおよび学習手法を対象とし、キャスケードソリューションの汎用性を保証する。

Figure 1: a) An audiovisual model trained with the RNN-T loss. b) A cascaded audiovisual model. The dashed lines indicate different routes the input can take: the AO path, which goes through the audio model, and the AV path, which goes through the audiovisual model.

実験結果

リサーチクエスチョン

• RQ1 AVASRモデルにおける動画欠落に対する耐性を評価するための標準的で検証可能なフレームワークを定義できるか？
• RQ2 制御された動画ドロップアウト条件下で、既存のAVASRモデルは異なるノイズレベルおよびドロップアウトパターンにおいてどのように性能を示すか？
• RQ3 キャスケードベースのアーキテクチャに依存しないソリューションは、多様なモデルアーキテクチャおよびノイズ条件下で一貫して耐性を示すか？
• RQ4 包括的な評価によって明らかにされたように、動画が欠落している場合の実際の性能と、主張された耐性との間に乖離は存在するか？

主な発見

• 提案された耐性フレームワークにより、動画欠落状態下でのAVASRモデルの正確かつ再現可能な評価が可能となり、従来の研究における曖昧さが解消された。
• Makinoら（2019）やZhangら（2019）の既存モデルは耐性基準を満たさず、音声のみのデータでテストした際には性能が低下しており、音声視覚データで学習したにもかかわらずである。
• キャスケードベースの手法は、すべてのテスト設定で一貫した耐性を示した：動画が段階的に欠落するに従い、WERは安定または向上し、高ノイズ（0dB SNR）条件下でも同様であった。
• LSTMベースのキャスケードモデルでは、AOベースラインのWERは24.54±1.45 WERを維持しており、100％の動画ドロップアウト時でも25.04±1.5 WERに留まり、性能劣化が確認されなかった。
• Conformerベースのキャスケードモデルは、全ノイズレベルおよびドロップアウトレートにおいてWERが4.5 WER未満を維持し、優れた汎化性と耐性を示した。
• 極端な状況（例：100％の動画ドロップアウト）でさえも、キャスケードモデルの性能は音声のみのベースラインを下回ることはなく、核心的な耐性の直観が妥当であることが裏付けられた。

Figure 2: Dropping $50\%$ of the frames under different test suites.