[論文レビュー] Exploring Deep Learning for Joint Audio-Visual Lip Biometrics

Meng Liu, Longbiao Wang+4 more|arXiv (Cornell University)|Apr 17, 2021

Speech and Audio Processing参考文献 36被引用数 4

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）に基づく視覚的特徴と時系列遅延ニューラルネットワーク（TDNN）に基づく音声的特徴を融合する、深層学習ベースの音声・視覚的口唇バイオメトリクスシステムであるDeepLipを提案する。スコア統合を用いることで、テストデータで等誤差率（EER）0.75％を達成し、最良の単一モダリティベースライン比で50％以上の相対的改善を示した。

ABSTRACT

Audio-visual (AV) lip biometrics is a promising authentication technique that leverages the benefits of both the audio and visual modalities in speech communication. Previous works have demonstrated the usefulness of AV lip biometrics. However, the lack of a sizeable AV database hinders the exploration of deep-learning-based audio-visual lip biometrics. To address this problem, we compile a moderate-size database using existing public databases. Meanwhile, we establish the DeepLip AV lip biometrics system realized with a convolutional neural network (CNN) based video module, a time-delay neural network (TDNN) based audio module, and a multimodal fusion module. Our experiments show that DeepLip outperforms traditional speaker recognition models in context modeling and achieves over 50% relative improvements compared with our best single modality baseline, with an equal error rate of 0.75% and 1.11% on the test datasets, respectively.

研究の動機と目的

• 深層学習モデルのトレーニングに適した大規模な音声・視覚的（AV）データベースの不足に取り組むこと。
• 音声と視覚的口唇運動から得られる補完的特徴を活用し、統合的でエンドツーエンドの音声・視覚的口唇バイオメトリクスのための堅牢な深層学習フレームワークを開発すること。
• 特徴統合とスコア統合を用いたベースラインシステムを確立し、単一モダリティアプローチを上回る発話者認証性能を実現すること。
• 実証的評価を通じて、手作業で設計された特徴量よりも深層特徴量がAV口唇バイオメトリクスで優れていることを示すこと。

提案手法

• 音声用にVoxCeleb、映像用にLOMBARDGRIDを含む公開データセットを統合し、深層学習のトレーニングを可能にする中規模のAVデータベースを構築した。
• ビデオシーケンスの口元領域から空間的・時間的特徴を抽出するCNNベースのビデオモジュールを設計し、従来の手作業による特徴工学的設計を置き換えた。
• 音声信号の長期的時間的依存性をモデル化するTDNNベースの音声モジュールを実装し、発話者埋め込み抽出に最適化した。
• 音声専用とビデオ専用の埋め込みの連結（特徴統合）による早期統合と、スコア平均化（スコア統合）による後期統合を用いて、マルチモーダル統合を実現した。
• 過学習が外部ドメインのテストセットで観察されたPLDAの問題を回避するため、評価にはコサイン類似度を用いた。
• VoxCelebデータを用いた転移学習により、音声専用モデルの事前学習と微調整を行い、強力なベースラインとしての性能向上を図った。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、統合音声・視覚的口唇シーケンスから判別性の高い発話者特徴を効果的に抽出できるか？
• RQ2 音声と視覚のモダリティを統合することで、単一モダリティシステムと比較して顕著な性能向上が達成できるか？
• RQ3 同じデータセット上で、深層学習ベースのAV口唇バイオメトリクスは、従来のGMM-UBMおよびE-TDNNベースラインと比較してどのように性能を発揮するか？
• RQ4 発話者認証タスクにおいて、音声と視覚モダリティがどれほど補完的情報を提供するか？
• RQ5 複雑なマルチモーダル同期が不要な場合、単純なスコア統合または特徴統合戦略でも顕著な性能向上が達成できるか？

主な発見

• 提案されたDeepLipシステムは、スコア統合を用いてテスト1データセットで等誤差率（EER）0.75％を達成し、最良の単一モダリティベースライン比で50％以上の相対的改善を示した。
• 特徴統合により、テスト1でEERが0.84％、テスト2で1.11％に低下し、音声と視覚的発話特徴の補完的性質を確認した。
• ビデオ専用システム（MCNN）は、テスト1でEER5.73％、テスト2で8.65％を達成し、従来のGMM-UBMベースライン（17.20％および13.50％）を上回り、テスト1では音声専用のE-TDNNモデルをも上回った。
• 転移学習を用いた強化された音声専用システムは、テスト1でEER1.98％、テスト2で2.12％を達成し、最良の単一モダリティベースラインとしての役割を果たした。
• PLDAはテスト1では性能を向上させた（ビデオ専用で5.73％から2.70％に低下）が、テスト2では過学習を示したため、最終評価にはコサイン類似度の使用が正当化された。
• 結果は、視覚的発話に顕著な発話者固有の情報が含まれており、深層学習がこれを効果的に活用してバイオメトリクス認証に応用できることを確認した。