[論文レビュー] Leveraging Modality-specific Representations for Audio-visual Speech Recognition via Reinforcement Learning

Chen Chen, Yu‐Chen Hu+4 more|arXiv (Cornell University)|Dec 10, 2022

Speech and Audio Processing被引用数 4

ひとこと要約

本稿では、騒音条件下における音声視覚語学習（AVSR）の性能を向上させるために、動的にモダリティ不変およびモダリティ固有の視覚的表現を統合する強化学習ベースのフレームワーク、MSRLを提案する。独自に設計した語誤り率（WER）に整合した報酬関数を用いることで、未知のノイズタイプを含むクリアな状態および多様なノイズ状態において、最先端の手法を上回り、優れた耐障害性と一般化性能を示す。

ABSTRACT

Audio-visual speech recognition (AVSR) has gained remarkable success for ameliorating the noise-robustness of speech recognition. Mainstream methods focus on fusing audio and visual inputs to obtain modality-invariant representations. However, such representations are prone to over-reliance on audio modality as it is much easier to recognize than video modality in clean conditions. As a result, the AVSR model underestimates the importance of visual stream in face of noise corruption. To this end, we leverage visual modality-specific representations to provide stable complementary information for the AVSR task. Specifically, we propose a reinforcement learning (RL) based framework called MSRL, where the agent dynamically harmonizes modality-invariant and modality-specific representations in the auto-regressive decoding process. We customize a reward function directly related to task-specific metrics (i.e., word error rate), which encourages the MSRL to effectively explore the optimal integration strategy. Experimental results on the LRS3 dataset show that the proposed method achieves state-of-the-art in both clean and various noisy conditions. Furthermore, we demonstrate the better generality of MSRL system than other baselines when test set contains unseen noises.

研究の動機と目的

• 低SNR条件下で視覚モダリティが重要になる状況において、既存のAVSRモデルが音声モダリティに過度に依存している問題に対処する。
• 現実世界の動的で非定常なノイズ分布に対して適応できない固定の統合戦略の限界を克服する。
• 自己回帰的デコード中に、ノイズに不変な視覚的モダリティ固有表現を効果的に活用することで、モデルの一般化性能を向上させる。
• タスク固有のパフォーマンス指標に基づいて、モダリティ不変およびモダリティ固有の表現のバランスをとる柔軟な統合メカニズムを開発する。
• 特に低リソースおよび未知のノイズ設定において、強化学習が最適な統合ポリシーを学習する有効性を実証する。

提案手法

• 音声ストリームとは独立して、唇の動きからモダリティ固有の視覚的表現を抽出するため、事前学習済みのビジョンモデルを採用する。
• 自己回帰的デコード中に、モダリティ不変およびモダリティ固有の表現の間で動的に選択を行う強化学習（RL）エージェントを導入する。
• RLエージェントが最適な統合戦略に導かれるように、語誤り率（WER）に基づくタスク固有の報酬関数を設計する。
• 推論時にビームサーチを用いて複数の仮説を生成し、RLエージェントが多様なトークンレベルの統合ポリシーを探索可能にする。
• ポリシー勾配法を用いてエンドツーエンドでポリシーネットワークを訓練し、エージェントがノイズ状態と文脈に応じて表現の重みを学習する。
• RLベースの統合メカニズムを自己回帰的ASRデコーダーに統合し、各デコードステップで文脈に応じた適応的統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 音声がノイズによって損なわれた状況、特に低SNR条件下で、モダリティ固有の視覚的表現がAVSR性能を向上させ得るか？
• RQ2 変動するノイズ分布下で、モダリティ不変およびモダリティ固有の表現間の動的統合戦略を効果的に学習できるか？
• RQ3 WERに整合した報酬関数を用いた強化学習は、固定統合ベースラインと比較して、未知のノイズタイプに対して優れた一般化性能を示すか？
• RQ4 モダリティ固有の表現は、低リソース学習状況においてどの程度データ効率を向上させるか？
• RQ5 提案手法は、クリア状態および多様なノイズ状態（未知のノイズタイプを含む）において、最先端のAVSRモデルを上回る性能を示せるか？

主な発見

• LRS3データセットにおいて、MSRLはクリア状態で1.33%のWERを達成し、通常リソースモードで最高のベースライン（AV-HuBERT）比で5%の相対的低下を示した。
• 低リソースモードでは、MSRLがWERを2.82%まで低下させ、AV-HuBERT比で14.5%の相対的改善を達成し、優れたデータ効率を示した。
• 未知のノイズタイプ（カフェ、ミーティング、リバー、レスト）において、低リソースモードでMSRLはAV-HuBERTを12.5%〜27.1%相対的に上回り、強力な一般化性能を示した。
• ノイズ状態では、低リソースモードでベイブルノイズで32.5%（相対）、スピーチノイズで25.7%（相対）の相対的向上を示し、全SNRレベルで一貫した向上を達成した。
• たとえラベル付きデータが30時間しかなくとも、MSRLは34,000時間のデータを用いるRNN-Tを上回り、そのデータ効率の高さを示した。
• モデルアンサンブルベースラインは、クリア状態で視覚モダリティ固有表現への過剰な依存により性能が劣るが、MSRLは文脈に応じた統合を学習することで、あらゆる設定で耐障害性を維持した。