[論文レビュー] DVG-Face: Dual Variational Generation for Heterogeneous Face Recognition

Chaoyou Fu, Xiang Wu+3 more|arXiv (Cornell University)|Sep 20, 2020

Face recognition and analysis被引用数 8

ひとこと要約

本稿では、限定的なペアデータと非ペアの可視データで訓練された条件付き生成器を用いて、ノイズから大規模で多様性に富み、アイデンティティが一貫した異種顔面画像ペア（例：NIR-VIS、スケッチ-写真）を合成する、二重変分的生成フレームワークDVG-Faceを提案する。アイデンティティの事前知識を大規模な可視画像から統合し、新規の損失関数によりペアごとのアイデンティティの一貫性を強制することで、HFRにおける対照的学習を可能にし、7つのベンチマークで最先端の性能を達成。BUAA-VisNirでFAR=0.1%におけるVRが最大2.2%向上した。

ABSTRACT

Heterogeneous Face Recognition (HFR) refers to matching cross-domain faces and plays a crucial role in public security. Nevertheless, HFR is confronted with challenges from large domain discrepancy and insufficient heterogeneous data. In this paper, we formulate HFR as a dual generation problem, and tackle it via a novel Dual Variational Generation (DVG-Face) framework. Specifically, a dual variational generator is elaborately designed to learn the joint distribution of paired heterogeneous images. However, the small-scale paired heterogeneous training data may limit the identity diversity of sampling. In order to break through the limitation, we propose to integrate abundant identity information of large-scale visible data into the joint distribution. Furthermore, a pairwise identity preserving loss is imposed on the generated paired heterogeneous images to ensure their identity consistency. As a consequence, massive new diverse paired heterogeneous images with the same identity can be generated from noises. The identity consistency and identity diversity properties allow us to employ these generated images to train the HFR network via a contrastive learning mechanism, yielding both domain-invariant and discriminative embedding features. Concretely, the generated paired heterogeneous images are regarded as positive pairs, and the images obtained from different samplings are considered as negative pairs. Our method achieves superior performances over state-of-the-art methods on seven challenging databases belonging to five HFR tasks, including NIR-VIS, Sketch-Photo, Profile-Frontal Photo, Thermal-VIS, and ID-Camera. The related code will be released at https://github.com/BradyFU.

研究の動機と目的

• 異種顔認識（HFR）における大規模なドメイン差異と限定的なペア化された異種顔データの課題に対処すること。
• 従来のHFR向け条件付き画像間変換手法におけるクラス内多様性の不足とアイデンティティの一貫性の欠如を克服すること。
• 生成プロセスに大規模な非ペア可視顔データを統合することで、生成されたペア化された異種顔画像におけるアイデンティティの多様性を向上させること。
• 生成されたペア化された画像（例：NIRとVIS）間のアイデンティティの一貫性を保証するため、ペアごとのアイデンティティ保持損失を導入すること。
• 生成された画像を正例および負例ペアとして用いる対照的学習により、HFRネットワークの有効な訓練を可能にすること。

提案手法

• 限定的なペアデータを用いて、二重変分的生成器を設計し、ペア化された異種顔画像（例：NIRとVIS）の同時分布を学習する。
• 生成されたサンプルにおけるアイデンティティの多様性を高めるために、非ペアの大規模な可視顔データを生成器に統合する。
• 生成されたペア化された画像間のアイデンティティの一貫性を強制するため、ペアごとのアイデンティティ保持損失を導入する。
• 生成されたペア化された画像を正例とし、異なるノイズサンプルからの画像を負例として扱い、対照的学習の目的関数を構築する。
• 生成データを用いた対照的学習によりHFRネットワークを訓練し、ドメイン不変かつ判別性の高い埋め込み特徴を学習する。
• 非条件付き生成戦略により、ノイズから新しい多様性に富んだアイデンティティが一貫するペア化された異種顔画像をサンプリング可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、HFRにおけるデータ不足を緩和する大規模で多様性に富み、アイデンティティが一貫するペア化された異種顔画像を生成できるか？
• RQ2 非ペア可視顔データは、生成された異種顔画像ペアにおけるアイデンティティの多様性をどのように向上させるか？
• RQ3 生成されたペア化された画像間のペアごとのアイデンティティ一貫性を強制することで、HFR性能はどのように向上するか？
• RQ4 生成されたペア化された画像を正例として用いた対照的学習は、HFRモデルの汎化性能と精度を顕著に向上させるか？
• RQ5 提案されたDVG-Faceフレームワークは、多様なHFRベンチマークで、従来の条件付き画像間変換および対照的学習手法を上回るか？

主な発見

• IIIT-D Sketch Viewedデータベースでは、DVG-Faceはランク1正答率97.21%を達成し、以前の最先端手法RCNを6.87ポイント上回った。
• BUAA-VisNirデータベースでは、DVG-FaceはFAR=0.1%におけるVRが99.1%に達し、次善の手法PACHを5.6ポイント、DVRを2.2ポイント上回った。
• Tufts Faceデータベースでは、DVG-Faceはランク1正答率をDVGの56.1%から75.7%へ、FAR=0.1%におけるVRを17.1%から36.5%へ向上させた。
• ROC解析では、BUAA-VisNirでDVG-FaceはDVRを5.4%上回り、低誤報率（FPR=10^-5）における真陽性率（TPR）が優れた性能を示した。
• DVG-Faceは、NIR-VIS、スケッチ-写真、プロファイル-正面写真、サーモグラム-VIS、ID-カメラの5つのHFRタスクにおいて一貫して最先端の性能を達成した。
• 非ペア可視データの統合により、アイデンティティの多様性が顕著に向上し、ノイズから新しい実際的でアイデンティティが一貫するペア化された画像を生成可能となった。