[論文レビュー] Voice-Face Cross-modal Matching and Retrieval: A Benchmark

Chuyuan Xiong, Deyuan Zhang+2 more|arXiv (Cornell University)|Nov 21, 2019

Face recognition and analysis参考文献 30被引用数 10

ひとこと要約

本論文は、音声-顔のクロスモーダルマッチングおよびリtrievalのための新しいベンチマークを導入し、CNNベースのネットワークとトリプレット損失を用いた、音声アーキテクチャに依存するL2正規化されたメトリック学習フレームワークを提案する。中国語話者の115万枚の顔画像と29万件の音声クリップを含む大規模データセット上で、1対2マッチングの際84.48%の精度を達成し、精度および一般化の信頼性の両面で従来手法を顕著に上回る。

ABSTRACT

Cross-modal associations between voice and face from a person can be learnt algorithmically, which can benefit a lot of applications. The problem can be defined as voice-face matching and retrieval tasks. Much research attention has been paid on these tasks recently. However, this research is still in the early stage. Test schemes based on random tuple mining tend to have low test confidence. Generalization ability of models can not be evaluated by small scale datasets. Performance metrics on various tasks are scarce. A benchmark for this problem needs to be established. In this paper, first, a framework based on comprehensive studies is proposed for voice-face matching and retrieval. It achieves state-of-the-art performance with various performance metrics on different tasks and with high test confidence on large scale datasets, which can be taken as a baseline for the follow-up research. In this framework, a voice anchored L2-Norm constrained metric space is proposed, and cross-modal embeddings are learned with CNN-based networks and triplet loss in the metric space. The embedding learning process can be more effective and efficient with this strategy. Different network structures of the framework and the cross language transfer abilities of the model are also analyzed. Second, a voice-face dataset (with 1.15M face data and 0.29M audio data) from Chinese speakers is constructed, and a convenient and quality controllable dataset collection tool is developed. The dataset and source code of the paper will be published together with this paper.

研究の動機と目的

• 既存研究におけるデータセットの小規模さやテスト信頼性の低さといった課題を解決し、音声-顔クロスモーダルマッチングおよびリtrievalの包括的ベンチマークを確立すること。
• タイプ特化の動画向けにスケーラブルで高品質なデータセット収集ツールを開発し、最小限のラベル作業で効率的な大規模データカタログ作成を可能にすること。
• L2正規化制約とトリプレット損失を用いて、埋め込みの効率性とモデル性能を向上させる、画期的な音声アーキテクチャに依存するメトリック学習フレームワークを提案すること。
• 大規模データ上でモデルの一般化能力を評価し、ネットワークアーキテクチャ、事前学習、メトリック空間設計の影響を分析すること。
• 言語間転送能力を調査し、多様なタスクにわたる標準化された評価プロトコルと複数の性能指標を提供すること。

提案手法

• 音声-顔クロスモーダルマッチングにおける埋め込み学習効率とモデル収束性を向上させるために、音声アーキテクチャに依存するL2正規化されたメトリック空間を構築する。
• CNNベースのネットワークを用いて音声および顔特徴を抽出し、メトリック空間内でトリプレット損失を適用して判別性の高いクロスモーダル埋め込みを学習する。
• ハードネガティブサンプルに焦点を当て、学習効率を向上させるために、アイデンティティベースのサンプル抽出戦略を採用する。
• SE-ResNet50およびその他の深層CNNアーキテクチャを用い、MS1MおよびVOX2データセットでの事前学習により特徴表現を向上させる。
• MOOC動画から高品質な音声および顔サンプルを抽出可能なデータ収集ツールを開発し、品質を制御しつつスケーラブルなデータセット構築を可能にする。
• モデル一般化性能の評価に、1:2、1:3、1:4マッチング精度、mAP、性別別パフォーマンスなど、複数の評価指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 L2正規化を用いた音声アーキテクチャに依存するメトリック学習は、音声-顔クロスモーダルマッチングにおける性能と学習効率をどのように向上させるか？
• RQ2 SE-ResNet50 や VGG-M といった異なるCNNアーキテクチャは、クロスモーダルモデルの一般化性と精度にどのような影響を与えるか？
• RQ3 大規模データセットでの事前学習は、リソースが限られた環境やゼロショットの言語間設定において、モデル性能にどのように影響を与えるか？
• RQ4 微調整を中国語話者データで行う場合、モデルはどの程度の範囲で言語を越えて一般化可能か？
• RQ5 異なるデータサンプリング戦略とメトリック空間スケールは、モデルの収束性およびリtrieval性能にどのように影響を与えるか？

主な発見

• 提案されたVFMR1フレームワークは、1000万個のトリプレットを用いて1:2マッチングタスクで84.48%の精度を達成し、従来の最先端手法を上回る。
• 1:2リtrievalタスクにおいて、平均平均精度（mAP）が11%に達し、過去最高結果から7パーセンテージポイントの改善を示した。
• トレーニング中に音声埋め込みネットワークを凍結させることで、学習効率が向上し、わずかに性能も向上した。これは音声アーキテクチャに依存する学習の重要性を示している。
• スイッチ・アンド・エクスカーションモジュールを備えたSE-ResNet50は、標準のResNet50 や VGG-M を上回り、注意メカニズムを備えたより深いアーキテクチャがより優れたクロスモーダル埋め込みを生成することを示した。
• MS1M や VOX2 といった大規模データセットでの事前学習は性能を顕著に向上させるが、事前学習なしで学習を実施すると、精度が著しく低下する。
• 未学習の話者に対しても良好に一般化され、小規模な「見たこと・聞いたこと」のテストセットで95%の精度と38%のmAPを達成し、実用的応用の可能性を示した。