[論文レビュー] Disjoint Mapping Network for Cross-modal Matching of Voices and Faces

Yandong Wen, Mahmoud Al Ismail+3 more|arXiv (Cornell University)|Jul 12, 2018

Face recognition and analysis被引用数 15

ひとこと要約

本稿では、音声と顔のクロスモダリティマッチングのための新規フレームワークであるDisjoint Mapping Network (DIMNet) を提案する。DIMNetは、音声と顔の直接的な関係をモデル化するのではなく、それぞれのモダリティを共通の共変量（例：アイデンティティ、性別、国籍）に個別にマッピングすることで、共有表現を学習する。DIMNetはリtrievalタスクにおいて最先端の性能を達成し、1:Nマッチングタスクにおける性別検索ではmAPが98.5%、アイデンティティ検索では4.07%を記録した。これは、明示的な共有共変量のモデル化がマッチング精度を向上させるとともに、直接的なモダリティペアリングへの依存を軽減することを示している。

ABSTRACT

We propose a novel framework, called Disjoint Mapping Network (DIMNet), for cross-modal biometric matching, in particular of voices and faces. Different from the existing methods, DIMNet does not explicitly learn the joint relationship between the modalities. Instead, DIMNet learns a shared representation for different modalities by mapping them individually to their common covariates. These shared representations can then be used to find the correspondences between the modalities. We show empirically that DIMNet is able to achieve better performance than other current methods, with the additional benefits of being conceptually simpler and less data-intensive.

研究の動機と目的

• モダリティ間の直接的教師付き情報に依存せずに、クロスモダリティ音声・顔マッチングの課題に対処すること。
• 各モダリティが共通の共変量に依存するようにモデル化することで、それらの直接的な相関関係をモデル化するのではなく、共有表現をより効果的に学習できるかどうかを調査すること。
• トレーニング中に明示的なペア構築を避けることで、データ依存性を低減し、一般化性能を向上させること。
• アイデンティティ、性別、国籍などの共変量が音声・顔関連付けに与える影響を分離すること。
• 概念的単純性と解釈可能性を保ちながら、音声・顔リtrievalタスクで最先端の性能を達成すること。

提案手法

• DIMNetは、音声および顔データのそれぞれに特化した分離された特徴抽出器を採用し、入力を共有埋め込み空間にマッピングする。
• フレームワークは、学習済み埋め込みから共変量（例：アイデンティティ、性別、国籍）を予測する、入力モダリティに依存しない共有分類器を使用する。
• 教師信号は、音声および顔サンプルに個別に適用された共変量ラベルから得られ、ペア化された音声・顔データではなく、提供される。
• モデルは、共有埋め込みからの共変量予測の正確性を最大化するように、マルチタスク分類により訓練される。
• 最終的な埋め込みは、コサイン類似度を用いてクロスモダリティリtrievalに使用され、事前に構築されたペアを必要としない1:Nマッチングが可能になる。
• アーキテクチャは、共変量予測ヘッドにおけるクロスエントロピー損失を用いて、標準的なバックプロパゲーションによりエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 直接的な音声・顔対応関係を明示的にモデル化しないで、音声と顔のための共有表現を効果的に学習できるか？
• RQ2 アイデンティティ、性別、国籍といった共通の共変量が、既存の音声・顔マッチング手法の性能をどの程度説明できるか？
• RQ3 各モダリティを共変量に個別にマッピングすることで得られる埋め込みが、音声・顔関連の直接的共同学習を上回る性能を示すか？
• RQ4 アイデンティティのみ、性別のみ、または複数を組み合わせた異なる共変量の組み合わせで訓練した場合、モデルの性能はどのように変化するか？
• RQ5 本モデルは、従来の手法よりもデータ集約的でなく、かつ解釈可能性が高い状態で最先端の性能を達成できるか？

主な発見

• 性別を共変量として使用して訓練した場合、DIMNetは性別検索でmAPが98.5%を達成し、この共変量における優れた性能を示した。
• アイデンティティと性別を共変量として使用したDIMNet-IGが、1:Nマッチングタスクにおけるアイデンティティ検索で4.07%のmAPを記録し、最高の全体的なリtrieval性能を達成した。
• 1:NマッチングにおけるNの増加に伴い性能が著しく低下しており、現在の埋め込み空間では高精度なマッチングが十分に実現できていないことが示された。
• MDSを用いた可視化では、同じ話者の音声と顔の埋め込みが弱く近接していることが確認されたが、他の話者の埋め込みと著しく重複していた。
• 性別がトレーニング共変量として使用されていなくても、モデルは性別分離といった意味のあるグローバル構造を学習しており、データ構造の潜在的捕捉が行われていることが示された。
• 国籍はあらゆる設定で弱い予測子であり、mAP値が50%未満にとどまり、現在のデータまたは埋め込み空間における判別力が限定的であることが示された。