[論文レビュー] Analyzing Utility of Visual Context in Multimodal Speech Recognition Under Noisy Conditions

Tejas Srinivasan, Ramon Sanabria+1 more|arXiv (Cornell University)|Jun 30, 2019

Speech and Audio Processing参考文献 27被引用数 6

ひとこと要約

この論文は、騒音混じりまたは破損した音声条件下におけるマルチモーダル自動音声認識（MMASR）で、視覚的文脈が性能を向上させるかを調査している。4.2%のWER改善を達成しているが、音声がマスクされている際には視覚入力を活用できないため、現在の統合手法はノイズ耐性を高められていないことが示された。

ABSTRACT

Multimodal learning allows us to leverage information from multiple sources (visual, acoustic and text), similar to our experience of the real world. However, it is currently unclear to what extent auxiliary modalities improve performance over unimodal models, and under what circumstances the auxiliary modalities are useful. We examine the utility of the auxiliary visual context in Multimodal Automatic Speech Recognition in adversarial settings, where we deprive the models from partial audio signal during inference time. Our experiments show that while MMASR models show significant gains over traditional speech-to-text architectures (upto 4.2% WER improvements), they do not incorporate visual information when the audio signal has been corrupted. This shows that current methods of integrating the visual modality do not improve model robustness to noise, and we need better visually grounded adaptation techniques.

研究の動機と目的

• 推論時に音声信号が破損している状況におけるマルチモーダルASRにおける視覚的文脈の有効性を評価すること。
• 現在のMMASRモデルが、人間の心理音響行動を模倣して、音声が欠落した場合に視覚的情報で補填できるかを調査すること。
• 推論時に視覚的入力が不一致または不適切な場合、MMASRモデルがどの程度感度を示すかを評価すること。
• 既存の視覚統合技術の限界を特定し、音声劣化に対する耐性を高められない理由を明らかにすること。

提案手法

• エンコーダーに6層の双方向LSTM、デコーダーに2層のGRUを用いた、アテンション機構を備えた序列変換ASRモデルを、単一モーダルベースラインとして訓練した。
• 4つのマルチモーダル変種を提案した：(1) エンコーダー隠れ状態の視覚特徴による初期化、(2) エンコーダーとデコーダーの両方の初期化、(3) 視覚的特徴と音声特徴を連結する早期統合、(4) アテンション機構に視覚的特徴を入力する後期統合。
• 推論時に3種類の音声マスキングを適用した：発話の先頭、中央、末尾に無音を挿入して信号破損を模擬した。
• 音声と関連のない画像をペアにすることで、不一致デコード実験を実施し、モデルの視覚入力の不一致に対する感度をテストした。
• 主にWERを指標として、すべてのマスキングおよび不一致条件において、PlacesAudioデータセット上で性能を評価した。
• 空間的アテンションやオブジェクトレベルの局所化を用いず、事前学習済みResNet-50モデルからのグローバル平均プーリングによる視覚特徴を用いて、シーンの文脈を表現した。

実験結果

リサーチクエスチョン

• RQ1 推論時に音声信号が破損している場合、マルチモーダルASRは視覚的文脈を活用するか？
• RQ2 発話内の異なる位置（先頭・中央・末尾）で音声をマスキングした場合、マルチモーダルモデルのWERは単一モーダルベースラインと比べてどの程度変化するか？
• RQ3 マルチモーダルASRモデルは、視覚的入力の不一致や不適切な画像に対してどの程度感度を示すか？
• RQ4 関連のない画像が供給された場合でも、マルチモーダルモデルは単一モーダルモデルを上回れるか？ これは視覚モalityの使用方法に何を示唆するか？

主な発見

• MMASRモデルは、クリーンな条件下で単一モーダルASRより最大4.2%のWER改善を達成しており、理想的な状況下での視覚的文脈の有効性を確認した。
• 音声がマスキングされた場合（特に発話の末尾付近）、マルチモーダルモデルのWER改善は著しく減少し、信号喪失時に視覚的文脈を効果的に活用していないことが示された。
• 関連のない画像が供給されても、マルチモーダルモデルは単一モーダルモデルを最大3.5%のWER改善で上回っている。これは、視覚的入力が意味的にも一貫して活用されていないことを示唆している。
• 不一致した視覚的入力による性能低下は最小限（約0.5%のWER増加）にとどまり、このような条件下ではモデルが視覚モダリティに依存していないことが示された。
• グローバル平均プーリングによる視覚特徴統合は、音声劣化下での耐障害的適応に不十分である。
• 現在のMMASRアーキテクチャは、想定されるノイズ耐性を達成できていない。視覚的接地とモダリティ間相互作用設計における根本的なギャップが浮き彫りになった。