[論文レビュー] Dual Variational Generation for Low-Shot Heterogeneous Face Recognition

Chaoyou Fu, Xiang Wu+3 more|arXiv (Cornell University)|Mar 25, 2019

Face recognition and analysis参考文献 39被引用数 8

ひとこと要約

本稿では、ノイズから異種顔画像ペア（例：NIRからVIS）を多様でアイデンティティを保った形で生成する、新しいフレームワークであるデュアル変分的生成（DVG）を提案する。変分オートエンコーダーを二重に用いることで、潜在空間の分布整合性とペアワイズのアイデンティティ保存を強制することで、ドメインギャップを顕著に低減し、低ショット異種顔認識性能を向上させた。4つのベンチマークで最先端の結果を達成し、LightCNN-29を用いたCASIA NIR-VIS 2.0では99.8%のRank-1精度を達成した。

ABSTRACT

Heterogeneous Face Recognition (HFR) is a challenging issue because of the large domain discrepancy and a lack of heterogeneous data. This paper considers HFR as a dual generation problem, and proposes a novel Dual Variational Generation (DVG) framework. It generates large-scale new paired heterogeneous images with the same identity from noise, for the sake of reducing the domain gap of HFR. Specifically, we first introduce a dual variational autoencoder to represent a joint distribution of paired heterogeneous images. Then, in order to ensure the identity consistency of the generated paired heterogeneous images, we impose a distribution alignment in the latent space and a pairwise identity preserving in the image space. Moreover, the HFR network reduces the domain discrepancy by constraining the pairwise feature distances between the generated paired heterogeneous images. Extensive experiments on four HFR databases show that our method can significantly improve state-of-the-art results. The related code is available at https://github.com/BradyFU/DVG.

研究の動機と目的

• 限定的なペairedトレーニングデータとモダリティ間の大きなドメインギャップによる低ショット異種顔認識（HFR）の課題に対処すること。
• 条件付き画像間変換手法の限界を克服すること。これらの手法は、クラス内多様性が低く、生成サンプルにアイデンティティの一貫性がない。
• ノイズから大規模でアイデンティティを保持するペア異種画像を生成する、非条件的かつ二重生成フレームワークを構築すること。
• 生成画像ペア間の特徴距離を制約することで、HFRにおけるドメイン差を低減すること。
• HFRを二重生成問題として捉える新しい視点を提供し、多様性とアイデンティティの一貫性に富んだデータ拡張を可能にすること。

提案手法

• NIRとVISなどの異種顔画像ペアの同時分布を共有潜在空間でモデル化するため、デュアル変分オートエンコーダー（DVAE）を提案する。
• ペア画像の潜在分布間のKLダイバージェンスを最小化することで、潜在空間における分布整合性を強制する。
• 生成画像ペアが同一のアイデンティティを保つように、画像空間におけるペアワイズアイデンティティ保持損失を適用する。
• 標準正規分布からノイズをサンプリングし、それを同時に二つのモダリティにコピーすることで、新しいペア画像を生成する。
• 生成されたペア画像を用いて、ペアワイズ特徴距離制約によりHFRネットワークを訓練し、ドメイン差を低減する。
• 事前学習済みの認識バックボーン（例：LightCNN）とDVGフレームワークを統合し、生成と認識を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 ノイズから非条件的かつ二重画像生成が、HFRのデータ拡張に適した多様でアイデンティティを保った異種顔画像ペアを生成できるか？
• RQ2 潜在空間の分布整合性とペアワイズアイデンティティ保持を強制することで、低ショットHFR設定における認識一般化性能が向上するか？
• RQ3 提案されたDVGフレームワークは、クラス内多様性とアイデンティティの一貫性において、従来の条件付き画像間変換手法を上回るか？
• RQ4 限定的なトレーニングデータを用いた場合、DVGは異種顔モダリティ（例：NIR、VIS、スケッチ）間のドメイン差をどれほど効果的に低減できるか？
• RQ5 DVGは、標準的なNIR-VISおよびスケッチ-フォトタスクを超えた他の低ショット認識シナリオにも一般化可能か？

主な発見

• CASIA NIR-VIS 2.0データベースでは、LightCNN-29を用いてDVGは99.8%のRank-1精度と99.8%のVR@FAR=0.1%を達成し、ベースラインのLightCNN-29（99.2%と98.8%）および最先端手法を顕著に上回った。
• Oulu-CASIA NIR-VISデータベースでは、VR@FAR=0.1%が84.9%（従来の最先端）から92.9%に向上し、低ショット設定での強力な性能を示した。
• IIIT-D Viewed Sketchデータベースでは、DVGは96.99%のRank-1精度と97.86%のVR@FAR=1%を達成し、RCNやMC-CNNを大きく上回った。
• NJU-IDデータベースでは、DVGはベースラインのLightCNN-29に比べ、Rank-1精度を5.5%、VR@FAR=1%を6.2%向上させた。
• Multi-PIEデータベースでは、DVGは±90°のポーズでRank-1精度が18.5%向上し、±75°のポーズでは4.3%向上し、ポーズ変化に対して強いロバストネスを示した。
• 定性的な結果では、DVGはポーズや表情が異なる多様なペア画像を生成する一方で、入力属性を保持する条件付き手法とは異なり、その違いが顕著に現れた。