[論文レビュー] A Multi-View Approach To Audio-Visual Speaker Verification

Leda Sarı, Kritika Singh+4 more|arXiv (Cornell University)|Feb 11, 2021

Speech and Audio Processing参考文献 24被引用数 5

ひとこと要約

本稿では、音声と映像の両方のストリームを共有分類器を用いて共通の埋め込み空間にマッピングするマルチビュー音声・映像話者認証システムを提案する。これにより、片方のモダリティしか利用できない状況でもクロスモダリティ認証が可能になる。本手法は、ボクサセレブ1でクロスモダリティテストにおいて28.0%のEERを達成し、この困難な状況下でも先行手法を上回る性能を示した。また、標準的な音声・映像融合設定では0.7%のEERを達成した。

ABSTRACT

Although speaker verification has conventionally been an audio-only task, some practical applications provide both audio and visual streams of input. In these cases, the visual stream provides complementary information and can often be leveraged in conjunction with the acoustics of speech to improve verification performance. In this study, we explore audio-visual approaches to speaker verification, starting with standard fusion techniques to learn joint audio-visual (AV) embeddings, and then propose a novel approach to handle cross-modal verification at test time. Specifically, we investigate unimodal and concatenation based AV fusion and report the lowest AV equal error rate (EER) of 0.7% on the VoxCeleb1 dataset using our best system. As these methods lack the ability to do cross-modal verification, we introduce a multi-view model which uses a shared classifier to map audio and video into the same space. This new approach achieves 28% EER on VoxCeleb1 in the challenging testing condition of cross-modal verification.

研究の動機と目的

• 実世界の状況において、片方のモダリティが欠落または劣化する可能性がある中で、補完的な音声と映像のモダリティを活用して話者認証性能を向上させること。
• テスト時にモダリティの可用性が一致しないクロスモダリティ認証の課題に対処すること。
• 単一モダリティ、複数モダリティ、クロスモダリティ認証を1つのフレームワーク内でサポートする統合型モデルの開発。
• ボクサセレブデータセット上で、標準的な音声・映像統合と困難なクロスモダリティ認証設定の両方で最先端の性能を達成すること。

提案手法

• 音声と映像の埋め込みを共通空間にマッピングするため、共有分類器層を用いてマルチビューモデルを学習し、クロスモダリティマッチングを可能にする。
• 単一モダリティエンコーダ（音声および映像）を別々に学習し、その後、共有分類器を介してモダリティ間の埋め込みを整合させる。
• 一致する話者ペア（音声-映像）が共有空間内で近くなるように、コントラスト損失または類似する目的関数を用いる。
• 標準的な認証設定での性能向上のため、音声のみおよび映像のみのシステムのスコア統合を適用する。
• 実際の欠落データのシナリオを模倣するために、認証ペアの片側から片方のモダリティを削除することでクロスモダリティ認証を評価する。
• モデルはボクサセレブ2で学習され、ボクサセレブ1のテストセットで評価される。また、モダリティの可用性や統合戦略に関するアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 片方のモダリティが欠落している状況でも、音声または映像のいずれか一方が利用可能な場合に、クロスモダリティ話者認証を可能にする共通埋め込み空間を効果的に学習できるか？
• RQ2 本稿で提案するマルチビューモデルは、標準的な音声・映像認証において、単一モダリティおよび後段統合ベースラインと比較してどのように性能を発揮するか？
• RQ3 音声および映像エンコーダの共有学習が単一モダリティ性能に与える影響は何か？ また、性能の低下をどのように緩和できるか？
• RQ4 クロスモダリティテスト時に、音声および映像の両方のストリームに未学習の話者が含まれる極端な状況下でも、モデルの性能はどの程度維持されるか？
• RQ5 部分的に欠落したモダリティの状況下で、スコア統合が埋め込みの線形平均化よりも効果的であるか？

主な発見

• 提案されたマルチビュー・モデルは、片方のモダリティがペアの両側で欠落するという困難なクロスモダリティ認証設定下で、ボクサセレブ1で28.0%の等誤差率（EER）を達成した。
• 本モデルは、単一モダリティおよびミドルレベルのAV統合システムのスコア統合を用いて、ボクサセレブ1で報告された最低水準の音声・映像EER（0.7%）を達成した。
• マルチビュー・モデルの単一モダリティ音声のみの性能（VC1で6.1%のEER）は、スタンドアロンシステム（2.0%のEER）と比較してわずかに低下しているが、これは共有埋め込み次元数およびバッチ正規化の削除によるものと推定される。
• マルチビュー・モデルの単一モダリティ映像のみの性能（VC1で3.7%のEER）は、スタンドアロンシステム（3.4%のEER）とほぼ同等であり、共有学習による性能低下が最小限であることが示された。
• マルチビュー・モデルにおける音声および映像の類似度スコアの統合により、VC1でのEERは1.8%に低下し、個々の単一モダリティシステムを上回った。
• クロスモダリティ設定において、本モデルは[15]、[16]、[17]などの先行研究を上回り、VC1で28.0%のEERを達成した。これは、非標準的な評価スプリットであるにもかかわらず、既存手法と同等またはそれ以上の性能を示した。