[論文レビュー] Mutual Information Maximization for Effective Lip Reading

Xing Zhao, Shuang Yang+2 more|arXiv (Cornell University)|Mar 13, 2020

Speech and Audio Processing参考文献 27被引用数 6

ひとこと要約

本論文は、視覚的会話内容と特徴表現の相互情報量を最大化する枠組みを提案し、局所的（LMIM）およびグローバル（GMIM）な特徴表現を、音声内容と最大限に相関させるように強制することで、有効な唇読みを実現する。細分化されたフレームレベル特徴の強化と、重要なフレームへの選択的注意を組み合わせることで、LRWでは84.41%、LRW-1000では38.79%の新しいSOTA性能を達成し、困難な視覚的会話状況下でも、より優れたロバスト性と判別能力を示した。

ABSTRACT

Lip reading has received an increasing research interest in recent years due to the rapid development of deep learning and its widespread potential applications. One key point to obtain good performance for the lip reading task depends heavily on how effective the representation can be to capture the lip movement information and meanwhile to resist the noises resulted from the change of pose, lighting conditions, speaker's appearance and so on. Towards this target, we propose to introduce the mutual information constraints on both the local feature's level and the global sequence's level to enhance the relations of the features with the speech content. On the one hand, we constraint the features generated at each time step to enable them carry a strong relation with the speech content by imposing the local mutual information maximization constraint (LMIM), leading to improvements over the model's ability to discover fine-grained lip movements and the fine-grained differences among words with similar pronunciation, such as ``spend'' and ``spending''. On the other hand, we introduce the mutual information maximization constraint on the global sequence's level (GMIM), to make the model be able to pay more attention to discriminate key frames related with the speech content, and less to various noises appeared in the speaking process. By combining these two advantages together, the proposed method is expected to be both discriminative and robust for effective lip reading. To verify this method, we evaluate on two large-scale benchmark. We perform a detailed analysis and comparison on several aspects, including the comparison of the LMIM and GMIM with the baseline, the visualization of the learned representation and so on. The results not only prove the effectiveness of the proposed method but also report new state-of-the-art performance on both the two benchmarks.

研究の動機と目的

• ポーズ、照明、話者差に依存しない強固で判別力のある視覚的表現を学習することで、唇読みの性能を向上させること。
• 異なる会話状況下で一貫性のない語の境界や、外見の変動が生じる唇の動きの課題に対処すること。
• 「spend」と「spending」のような同音異義語の微細な違いを区別する能力を向上させること。
• モデルがターゲット語に関連する重要なフレームを自動で特定し、関係のないフレームからのノイズを抑制できるようにすること。
• 外部の語境界アノテーションに依存せずに、大規模なベンチマークLRWおよびLRW-1000でSOTA性能を達成すること。

提案手法

• フレームレベル特徴と音声内容との間の相互情報量を最大化するための局所的相互情報量最大化（LMIM）を導入し、微細な唇の動きへの感受性を向上させる。
• 全系列表現と音声内容との間の相互情報量を最大化するためのグローバル的相互情報量最大化（GMIM）を提案し、重要なフレームへの注目とノイズ抑制を可能にする。
• アノテートされた語の境界内にあるフレームに高い重みを割り当て、文脈フレームに小さな重みを割り当てる学習可能な注目メカニズムを用いてGMIMを実装する。
• LMIMおよびGMIM制約を併用して、フロントエンド特徴抽出器とバックエンド分類器を共同で学習できるように、標準的な唇読みアーキテクチャを変更する。
• 局所的およびグローバルなレベルでの表現最適化のため、相互情報量推定に基づく対照的学習目的関数を採用する。
• PCAを用いた可視化により、GLMIM適用前後における表現の判別力を分析・比較する。

実験結果

リサーチクエスチョン

• RQ1 局所的相互情報量最大化は、モデルの微細な唇の動きの捉え方および同音異義語の区別能力を向上させることができるか？
• RQ2 グローバル的相互情報量最大化は、動画系列における重要なフレームへの注目を強化し、不要なノイズを抑制できるか？
• RQ3 LMIMとGMIMを組み合わせることで、大規模な唇読みベンチマークにおいてベースラインモデルを著しく上回る性能向上が達成できるか？
• RQ4 本手法は、多様な会話状況下で、SOTA手法と比較して精度とロバスト性に優れているか？
• RQ5 学習された注目メカニズムは、明示的な教師信号なしに、実際の語境界とどの程度一致するか？

主な発見

• 提案手法は、LRWデータセットで84.41%という新しいSOTA精度を達成し、ベースラインから1.21%の向上を示した。
• より困難なLRW-1000ベンチマークでは、38.79%の精度を達成し、ベースラインより0.44%向上し、新たなSOTA結果となった。
• LMIMコンponent単体でも、ベースライン精度を82.14%から83.33%まで向上させ、微細な差の捉え方の有効性を示した。
• GMIMコンponentは、重要なフレームへの注目を顕著に向上させた：可視化結果から、GLMIM適用後にクラス間分散が2.5倍に増加しており、クラス分離性が向上した。
• GMIMで学習されたモデルは、外部の境界アノテーションなしに、アノテートされた語境界内フレームに高い注目重みを割り当て、隣接する文脈フレームに小さな重みを割り当てることが可能となった。
• アブレーションスタディにより、LMIMおよびGMIMが独立的かつ相乗的に寄与していることが確認され、LRWではGMIMが最大の性能向上をもたらし、LRW-1000ではより控えめだが一貫した向上が得られた。