[論文レビュー] Synchronous Bidirectional Learning for Multilingual Lip Reading

Mingshuang Luo, Shuang Yang+3 more|arXiv (Cornell University)|May 8, 2020

Speech and Audio Processing参考文献 24被引用数 5

ひとこと要約

本論文は、発音記号を共有モデリング単位として用いることで、発音の視覚的パターンを活用する多言語唇読みの同期的双方向学習（SBL）フレームワークを提案する。左右の文脈を統合的に予測する統一モデルを用いて欠落した発音記号を予測するとともに、言語IDを同時に予測することで、LRW（87.32%）およびLRW-1000（56.85%）で最先端の性能を達成し、統合的多言語学習による顕著な向上を示した。

ABSTRACT

Lip reading has received increasing attention in recent years. This paper focuses on the synergy of multilingual lip reading. There are about as many as 7000 languages in the world, which implies that it is impractical to train separate lip reading models with large-scale data for each language. Although each language has its own linguistic and pronunciation rules, the lip movements of all languages share similar patterns due to the common structures of human organs. Based on this idea, we try to explore the synergized learning of multilingual lip reading in this paper, and further propose a synchronous bidirectional learning (SBL) framework for effective synergy of multilingual lip reading. We firstly introduce phonemes as our modeling units for the multilingual setting here. Phonemes are more closely related with the lip movements than the alphabet letters. At the same time, similar phonemes always lead to similar visual patterns no matter which type the target language is. Then, a novel SBL block is proposed to learn the rules for each language in a fill-in-the-blank way. Specifically, the model has to learn to infer the target unit given its bidirectional context, which could represent the composition rules of phonemes for each language. To make the learning process more targeted at each particular language, an extra task of predicting the language identity is introduced in the learning process. Finally, a thorough comparison on LRW (English) and LRW-1000 (Mandarin) is performed, which shows the promising benefits from the synergized learning of different languages and also reports a new state-of-the-art result on both datasets.

研究の動機と目的

• 人間の発声解剖学に起因する言語間の共通視覚パターンを活用することで、多言語唇読みを新たな問題として探求すること。
• 世界の約7,000の言語すべてに対して個別にモデルを学習することは現実的ではないため、言語間での知識移転を可能にする。
• 複数の言語を同時に学習する統一フレームワークにより、言語ごとの構文規則を学習することで、唇読みの性能を向上させること。
• 単一モジュール内で双方向文脈を統合的に処理する新しいSBLブロックを導入し、多言語発音記号予測のためのシーケンスモデリングを強化すること。
• 共有多言語アーキテクチャ内での言語固有の学習を向上させるために、言語IDを共同で予測する有効性を検証すること。

提案手法

• 発音記号は、アルファベット文字よりも唇の動きに直接対応するため、言語間の言語的差異を橋渡しするモデリング単位として用いられる。
• 左・右の文脈を統合的に使用して欠落した発音記号を予測する、新しい同期的双方向学習（SBL）ブロックを導入し、2つの別個の単方向エンコーダーに置き換える。
• SBLブロックは、発音記号予測のための「穴埋め」タスクを通じて、エンドツーエンドで多言語構文規則を学習可能なTransformerベースのデコーダーに統合される。
• 各言語固有の学習をより的確にするために、モデルに補助的な言語ID予測ヘッドを追加する。
• 英語（LRW）および中国語（LRW-1000）のデータセット上でモデルを学習し、発音記号予測と言語分類の両方を共同最適化する。
• アーキテクチャと補助タスクの影響を分析するため、SBLオンリー、SBLオール、SBL＋言語フラグの複数のアブレーション設定で評価する。

実験結果

リサーチクエスチョン

• RQ1 発音の動きにおける共通視覚パターンを活用することで、統一された唇読みモデルが複数の言語から効果的に学習できるか？
• RQ2 統一された文脈エンコーダーを備えた同期的双方向学習は、別個の単方向エンコーダーと比較して、多言語唇読みにおいて優れた性能を示すか？
• RQ3 言語IDの共同予測は、多言語性能を損なわず、言語固有の構文規則の学習能力を向上させることができるか？
• RQ4 特に小規模な多言語データを用いる場合、多言語事前学習は単言語事前学習に比べて性能向上に寄与するか？
• RQ5 単語レベルや文字レベルのモデリングと比較して、発音記号レベルのモデリングが多言語唇読みにおける言語間ブリッジとして果たす貢献は何か？

主な発見

• 提案されたSBL-All-Flagモデルは、英語のLRWベンチマークで87.32%という新記録の精度を達成し、以前の手法を大きく上回った。
• 中国語のLRW-1000データセットでは56.85%の精度を達成し、以前のSOTAを18ポイント以上上回った。
• 最初のSBLブロックのみを適用した場合（SBL-First）でも、LRWで85.26%、LRW-1000で54.35%の精度を達成し、SBL機構の有効性を示した。
• 言語ID予測ヘッドの導入（SBL-All-Flag）により顕著な性能向上が見られ、言語固有の学習を強化する役割を果たしていることが確認された。
• より大規模な英語専用データセット（LRS2-BBC、LRS3-TED）を事前学習に用いた手法に対しても、小規模な中国語データセット（LRW-1000）のみで学習した本モデルが優れた結果を出した。これは多言語学習の利点を裏付けるものである。
• アブレーションスタディにより、SBLブロックの統合的双方向モデリングが別個の単方向ブランチよりも効果的であり、補助的な言語予測タスクが性能向上に不可欠であることが確認された。