[論文レビュー] A Cascade Sequence-to-Sequence Model for Chinese Mandarin Lip Reading

Ya Zhao, Rui Xu+1 more|arXiv (Cornell University)|Aug 14, 2019

Speech and Audio Processing参考文献 13被引用数 4

ひとこと要約

本論文は、視覚的および文法的手がかりを用いて語彙的声調を明示的にモデル化する、中国語・北京語の唇読みのための段階的sequence-to-sequenceモデル（CSSMCM）を提案する。このモデルは文単位の認識性能を向上させ、マルチモーダルアテンションを用いてピンイン、声調、文字列を同時に予測することで、新たに収集されたCMLRデータセット上で最先端の性能を達成した。これにより、声調モデル化が北京語の唇読みにおける文字誤り率を顕著に低減することが示された。

ABSTRACT

Lip reading aims at decoding texts from the movement of a speaker's mouth. In recent years, lip reading methods have made great progress for English, at both word-level and sentence-level. Unlike English, however, Chinese Mandarin is a tone-based language and relies on pitches to distinguish lexical or grammatical meaning, which significantly increases the ambiguity for the lip reading task. In this paper, we propose a Cascade Sequence-to-Sequence Model for Chinese Mandarin (CSSMCM) lip reading, which explicitly models tones when predicting sentence. Tones are modeled based on visual information and syntactic structure, and are used to predict sentence along with visual information and syntactic structure. In order to evaluate CSSMCM, a dataset called CMLR (Chinese Mandarin Lip Reading) is collected and released, consisting of over 100,000 natural sentences from China Network Television website. When trained on CMLR dataset, the proposed CSSMCM surpasses the performance of state-of-the-art lip reading frameworks, which confirms the effectiveness of explicit modeling of tones for Chinese Mandarin lip reading.

研究の動機と目的

• 英語とは異なり、声調の違いが存在しないことによる中国語・北京語の唇読みにおける高い曖昧性を解消すること。
• 視覚的特徴、ピンイン、声調を統合的にモデル化するマルチモーダルな唇読みフレームワークを構築し、文単位の認識性能を向上させること。
• 研究および評価を目的として、大規模かつ自然な中国語・北京語の唇読みデータセット（CMLR）を収集・公開すること。
• 明示的な声調モデル化が北京語の唇読みにおける文字レベルの精度を向上させることを実証すること。
• 文単位の認識タスクにおいて、既存のエンドツーエンドおよび二段階の唇読みモデルを上回ること。

提案手法

• 三段階の段階的アーキテクチャ：まず動画からピンイン列を予測し、次に動画とピンイン入力を用いて声調列を予測し、最後にすべての入力（動画、ピンイン、声調）を用いて文字列を予測する。
• 声調予測サブネットワークで、動画フレームとピンイン列の両方に同時に注目する二重アテンション機構。
• 最終サブネットワークで、視覚的特徴、ピンイン、声調表現を統合するための三重アテンション機構。
• すべての三つのサブネットワークをエンドツーエンドで同時に微調整し、全体の性能を最適化する。
• デコードの複雑さを軽減し、モデルの安定性を向上させるために、個々のピンイン文字ではなく「音節」をピンイン単位とする。
• 先行の言語学的知見に基づき、声調発話に関連する可視的発話特徴（首や頭の動き）を、声調予測の視覚的手がかりとして活用する。

実験結果

リサーチクエスチョン

• RQ1 語彙的声調の明示的モデル化は、北京語のような声調言語における文単位の唇読み性能を向上させることができるか？
• RQ2 視覚的特徴、ピンイン、声調情報の統合は、文字列予測の精度にどのように影響するか？
• RQ3 個々のピンイン文字ではなく音節を入力単位とする場合、sequence-to-sequenceの唇読みモデルの頑健性と精度が向上するか？
• RQ4 段階的モデルにおけるアテンション機構は、動画フレームと予測されたピンイン、声調、文字列の間でどのように一致するか？
• RQ5 モデルの失敗事例は、同音語や同じ母音で異なる声調を持つ文字に起因する割合がどの程度高いか？

主な発見

• CSSMCMは最先端のモデルよりも低い文字誤り率を達成しており、北京語の唇読みにおける明示的声調モデル化の有効性を確認した。
• 他のモデルが声調の誤分類により失敗する中で、本モデルは「実惠」（安いこと）と「事会」（機会）といった同音語でも正しく区別して予測できた。
• アテンション可視化の結果、モデルは関連する動画フレームに注目し、将来の声調情報を言語モデルとして活用して文字予測を精緻化していることが示された。
• 特に、同じ口の形をとる声調の違いがある状況では、WASおよびLipCH-Netを上回る性能を発揮した。
• 失敗事例の主な原因は、同音語や同じ母音をもつ文字であり、これにより声調の曖昧性が、高度なモデル化でも依然として課題であることが浮き彫りになった。
• ニュース放送から収集された10万件を超える自然な文を含むCMLRデータセットは、信頼性の高い評価と今後のベンチマークに貢献できる。