[論文レビュー] Multimodal Integration for Large-Vocabulary Audio-Visual Speech Recognition

Wentao Yu, Steffen Zeiler+1 more|arXiv (Cornell University)|Jul 28, 2020

Speech Recognition and Synthesis参考文献 22被引用数 5

ひとこと要約

本稿では、時間的に変化する信頼性指標を用いて、音声と視覚的発話特徴を動的に統合する判別的ストリーム統合ネットワークを提案する。大規模語彙音声認識の性能を向上させるために、複数の信頼性指標を用いて融合ネットワークを訓練し、MMI + MSEのハイブリッド損失で最適化することで、LRS2データセットにおいて、音声のみの最良モデル比で24.97%の相対的WER低減を達成した。騒音環境下でも、早期統合やエンドツーエンドベースラインを上回る性能を示した。

ABSTRACT

For many small- and medium-vocabulary tasks, audio-visual speech recognition can significantly improve the recognition rates compared to audio-only systems. However, there is still an ongoing debate regarding the best combination strategy for multi-modal information, which should allow for the translation of these gains to large-vocabulary recognition. While an integration at the level of state-posterior probabilities, using dynamic stream weighting, is almost universally helpful for small-vocabulary systems, in large-vocabulary speech recognition, the recognition accuracy remains difficult to improve. In the following, we specifically consider the large-vocabulary task of the LRS2 database, and we investigate a broad range of integration strategies, comparing early integration and end-to-end learning with many versions of hybrid recognition and dynamic stream weighting. One aspect, which is shown to provide much benefit here, is the use of dynamic stream reliability indicators, which allow for hybrid architectures to strongly profit from the inclusion of visual information whenever the audio channel is distorted even slightly.

研究の動機と目的

• マルチモodal融合を用いて大規模語彙音声認識（LVCSR）の性能を向上させる課題に対処すること。
• 信頼性指標を用いた動的ストリーム重み付けが、音声のみまたはエンドツーエンドモデルを上回る認識精度を顕著に向上させることを検証すること。
• ハイブリッドASRシステムにおけるマルチモーダル統合を最適化するための、異なる信頼性指標と損失関数の有効性を評価すること。
• 騒がしい音声・視覚データにおける頑健性と性能の観点から、ハイブリッド統合と早期統合およびエンドツーエンド学習を比較すること。
• わずかな音声劣化下でも視覚モダリティを効果的に活用できる最適な統合戦略を同定すること。

提案手法

• 信頼性指標 σₜᴬ, σₜᵛᴬ, σₜᵛˢ を用いて、音声および2つの視覚モダリティ（外観と形状）の動的ストリーム重み λₜⁱ を予測するストリーム統合ネットワークを訓練する。
• 融合は重み付き和を用いて対数尤度を結合する：log p̃(s|oₜ) = Σᵢ λₜⁱ · log p(s|oₜⁱ)，ここで重みは統合ネットワークから導出される。
• 信頼性指標にはエントロピー、スペクトル平坦度、SNR、DNNからの事後確率の分散が含まれる。
• 統合ネットワークは交差エントロピー（CE）および平均二乗誤差（MSE）損失関数を用いて訓練され、2段階の訓練（MMIによる事前学習とMSEによる微調整）が実施される。
• 3つのモデルを用いる：音声のみ（AO）、視覚的外観（VA）、視覚的形状（VS）、早期統合（EI）およびオラクル重み付け（OW）をベースラインとして用いる。
• LRS2データセットを用い、さまざまなSNR条件で実験を行い、頑健性と性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 学習された信頼性指標を用いた動的ストリーム重み付けは、固定またはエンドツーエンド統合と比較して、大規模語彙音声認識性能を顕著に向上させるか？
• RQ2 どの信頼性指標のセットが多様なノイズ条件下で最も効果的な統合を実現するか？
• RQ3 判別的ストリーム統合を用いたハイブリッド認識は、早期統合およびエンドツーエンドモデルを上回る性能を示すか？
• RQ4 損失関数の選択（例：CE、MSE、MMI）は、ストリーム統合ネットワークの性能にどのように影響するか？
• RQ5 音声がわずかに劣化した状態でも、視覚情報が認識性能に寄与できる程度は、動的重み付けによって捉えられるか？

主な発見

• 学習されたストリーム統合を用いたハイブリッド音声・視覚モデル（MM）は、LRS2データセットで29.89%のWERを達成し、最良の音声のみモデル（39.84% WER）比で24.97%の相対的WER低減を達成した。
• すべての信頼性指標（MB, SB, AB, VB, All）を用いることで最高の性能が得られ、個別の信頼性指標セットを上回った。
• MM損失（MMIによる事前学習＋MSEによる微調整）は、低SNR条件（≤3 dB）で最も優れた性能を示し、MSEやCE単体を上回った。
• 動的ストリーム統合を用いたハイブリッドモデルは、エンドツーエンドAV Alignモデルを著しく上回った。AV AlignモデルはLRS2において音声のみモデルに比して改善を示さなかった。
• オラクル重み付け（OW）モデルは23.23%のWERを達成したが、最良の学習モデル（29.89% WER）を上回る余地がまだ大きく残っていることを示しており、最適統合へのギャップが明確になった。
• クリーンな状態下でも、ハイブリッドモデルは音声のみベースライン比で9.95パーセンテージポイントのWER低減を達成し、SNRレベルにかかわらず一貫した向上を示した。