[論文レビュー] Deep Learning for Visual Speech Analysis: A Survey

Changchong Sheng, Gangyao Kuang+6 more|arXiv (Cornell University)|May 22, 2022

Subtitles and Audiovisual Media被引用数 9

ひとこと要約

本調査は、視覚的発話認識（VSR）と視覚的発話生成（VSG）に焦点を当てた、視覚的発話分析における深層学習手法の包括的レビューを提供する。近年の進展、ベンチマーク、課題、今後の方向性を統合的に検討し、深層学習が最先端の性能を達成する認識および生成タスクの両面で果たす二重的役割を強調するとともに、実用的導入における主なギャップ、プライバシー、耐性に関する課題を特定する。

ABSTRACT

Visual speech, referring to the visual domain of speech, has attracted increasing attention due to its wide applications, such as public security, medical treatment, military defense, and film entertainment. As a powerful AI strategy, deep learning techniques have extensively promoted the development of visual speech learning. Over the past five years, numerous deep learning based methods have been proposed to address various problems in this area, especially automatic visual speech recognition and generation. To push forward future research on visual speech, this paper aims to present a comprehensive review of recent progress in deep learning methods on visual speech analysis. We cover different aspects of visual speech, including fundamental problems, challenges, benchmark datasets, a taxonomy of existing methods, and state-of-the-art performance. Besides, we also identify gaps in current research and discuss inspiring future research directions.

研究の動機と目的

• 深層学習に基づく視覚的発話分析（VSA）手法、特にVSRおよびVSGについて、体系的かつ包括的なレビューを提供すること。
• VSAシステムの実用的導入を阻害する主な課題と制限要因を特定すること。
• VSRおよびVSGタスクにおけるベンチマークデータセット、評価プロトコル、最先端（SOTA）性能を分析すること。
• リアルタイム推論、ラベル効率性、敵対的攻撃に対する耐性といった未解決の実用的問題を浮き彫りにすること。
• 今後の研究方向性として、多言語VSA、プライバシー保護技術、メタバースおよびディープフェイク検出における応用を提案すること。

提案手法

• VSRとVSGに分類され、形式的な双対性に注目した、深層学習ベースのVSA手法の体系的分析。
• VSRおよびVSGで用いられる代表的なアーキテクチャ（CNN、RNN、Transformer、GAN）をレビューし、二重学習および敵対的訓練メカニズムを含む。
• Word Error Rate（WER）およびFréchet Audio Distance（FAD）を含む指標を用いて、LRS2、LRS3、Common Voiceなどの標準化されたベンチマークで性能を評価。
• ラベル効率性の高い学習パラダイムとして、クロスモodal対照学習や知識蒸留を検討し、大規模なアノテーション依存を低減。
• スパatiotemporalモデリングの向上を目的とした、3D CNN、2D+1D畳み込み、アテンションメカニズムなどのアーキテクチャ的イノベーションを分析。
• 非接触型の唇読みの限界を補うために、接触型モーションセンサーやその他の高度なセンサの統合を提案。

Figure 1 : Chronological milestones on visual speech analysis from 2016 to the present, including representative VSR and VSG methods, and audio-visual datasets. Handcrafted feature engineering methods dominated VSA until a transition took place in 2016 with the introduction of related deep networks.

実験結果

リサーチクエスチョン

• RQ1 実用的導入を制限する視覚的発話認識および生成における主な課題は何か？
• RQ2 LRS2およびLRS3のような主要なベンチマークデータセットにおいて、深層学習モデルの性能はどのように比較されるか？
• RQ3 耐性、プライバシー、リアルタイム推論の観点から、現在のVSAシステムの主な制限は何であるか？
• RQ4 自己教師あり学習およびラベル効率性の高い学習は、大規模なアノテート済みデータセットへの依存をどのように低減できるか？
• RQ5 メタバースや多言語アプリケーションといった新興分野におけるVSAの発展を促す、最も有望な今後の研究方向性は何か？

主な発見

• 最新のVSRモデルは、アテンション機構と大規模事前学習を組み合わせたエンドツーエンドの深層学習により、LRS3データセットで10%未満のWord Error Rate（WER）を達成している。
• 拡散モデルと敵対的訓練に基づくVSG手法は、視覚的品質と時間的整合性を著しく向上させ、FADスコアが実際の発話動画に近づいている。
• 現在のVSAシステムはリアルタイム推論に課題を抱えており、大多数の手法が1フレームあたり100ms以上を要しており、インタラクティブシステムへの実用的導入を制限している。
• 既存のVSAモデルは敵対的攻撃およびスプーフィングに対して脆弱であり、主流のフレームワークでは体系的な防御メカニズムが採用されていない。
• フェデレーテッドラーニングや同相暗号化といったプライバシー保護技術は、顔面データの感受性を考慮すると、VSA分野ではまだ十分に検討されていない。
• 多言語VSAは未開発に近く、多くのデータセットとモデルが英語に限定されており、多言語環境におけるグローバルな導入に大きなギャップが生じている。

Figure 3 : The two formal-dual fundamental problems of visual speech analysis. Top part: Visual speech recognition or lip reading; Bottom part: Visual speech generation or lip sequence generation.