[論文レビュー] Physically-Based Face Rendering for NIR-VIS Face Recognition

Yunqi Miao, Alexandros Lattas+3 more|arXiv (Cornell University)|Nov 11, 2022

Face recognition and analysis被引用数 5

ひとこと要約

本論文は、3次元顔再構築と新規のピクセル単位のVISからNIRへの反射率変換を用いて、物理的に根拠を持つ手法を提案し、高品質でアイデンティティが一貫したペアドNIR-VIS顔画像を生成する。大規模なフォトリッチなデータセットを活用し、モダリティギャップを低減するとともにアイデンティティ特徴を強調するためのID-MMD損失を導入することで、4つのNIR-VISベンチマークで最先端の性能を達成しており、既存のNIR-VISデータセットを一切使用しない状態でも、さらに微調整を施すことで性能が向上する。

ABSTRACT

Near infrared (NIR) to Visible (VIS) face matching is challenging due to the significant domain gaps as well as a lack of sufficient data for cross-modality model training. To overcome this problem, we propose a novel method for paired NIR-VIS facial image generation. Specifically, we reconstruct 3D face shape and reflectance from a large 2D facial dataset and introduce a novel method of transforming the VIS reflectance to NIR reflectance. We then use a physically-based renderer to generate a vast, high-resolution and photorealistic dataset consisting of various poses and identities in the NIR and VIS spectra. Moreover, to facilitate the identity feature learning, we propose an IDentity-based Maximum Mean Discrepancy (ID-MMD) loss, which not only reduces the modality gap between NIR and VIS images at the domain level but encourages the network to focus on the identity features instead of facial details, such as poses and accessories. Extensive experiments conducted on four challenging NIR-VIS face recognition benchmarks demonstrate that the proposed method can achieve comparable performance with the state-of-the-art (SOTA) methods without requiring any existing NIR-VIS face recognition datasets. With slightly fine-tuning on the target NIR-VIS face recognition datasets, our method can significantly surpass the SOTA performance. Code and pretrained models are released under the insightface (https://github.com/deepinsight/insightface/tree/master/recognition).

研究の動機と目的

• ロバストなクロスモダリティ顔認識モデルを訓練するための、限られたペアドNIR-VIS顔データの課題に対処する。
• モデルの汎化性と性能を阻害するNIRとVISスペクトル間のドメインギャップを克服する。
• 合成データ生成中に多様なポーズ、表情、照明条件下でもアイデンティティの一貫性を維持する。
• ポーズやアクセサリーなどの誤った変化よりもアイデンティティ特徴に注目するモダリティ不変特徴学習メカニズムを開発する。
• 既存のペアドNIR-VISデータセットに依存せず、複数のNIR-VIS顔認識ベンチマークで最先端の性能を達成する。

提案手法

• 最先端の反射率取得手法を用いて、大規模な2次元顔画像データセットから3次元顔形状と反射率マップを再構築する。
• 可視光スペクトルの反射率を近赤外（NIR）反射率に変換する新規なピクセル単位のVISからNIRへの反射率変換を適用し、アイデンティティを保持する。
• 物理的に根拠を持つレンダラを用いて、制御された照明、ポーズ、表情条件下で高解像度でフォトリッチなペアドNIR-VIS画像を生成する。
• 大規模なVIS顔認識データセットと合成されたNIR-VISペアデータを組み合わせて、顔認識ネットワークを訓練する。
• NIRとVIS特徴間のドメインレベルの分布差を最小化するとともに、アイデンティティ中心の特徴学習を促進する、IDベースの最大平均差分（ID-MMD）損失を導入する。
• ターゲットのNIR-VISデータセットを用いてアイデンティティ損失とID-MMD損失でモデルを微調整し、さらに性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 新規のVISからNIRへの反射率変換を用いた物理的に根拠を持つ3次元顔レンダリングは、高品質でアイデンティティが一貫したペアドNIR-VIS顔画像を生成できるか？
• RQ2 このような合成データセットは、実際のペアドNIR-VISデータを必要とせずに、NIR-VIS顔認識モデルを効果的に訓練できるか？
• RQ3 提案されたID-MMD損失は、NIRとVIS特徴間のモダリティギャップを効果的に低減するとともに、アイデンティティ関連のパターンに学習を集中させることができるか？
• RQ4 標準的なNIR-VIS顔認識ベンチマークにおいて、本手法の性能は最先端の手法と比べてどの程度か？
• RQ5 実際のターゲットデータセットでの微調整によって、モデルの汎化性と精度はどの程度向上するか？

主な発見

• 提案手法は、CASIA NIR-VIS 2.0およびOulu-CASIA NIR-VISデータセットにおいて、既存のNIR-VISデータセットを一切使用しない状態で、最先端の手法と同等の性能を達成した。
• 挑戦的なLAMP-HQデータセットでは、VR@FAR=0.1%で19.8%の向上を達成し、99.0%の認証率を記録した。
• ターゲットデータセットでの微調整後、LC-29では99.9%のVR@FAR=0.01%を達成し、アイデンティティ損失のみを用いたベースラインと比較して6.6%の向上を示した。
• Oulu-CASIAおよびBUAA-VisNirのような低ショットデータセットにおいて、VR@FAR=0.1%でDVG-Faceと比較してそれぞれ1.8%および0.8%の向上を示した。
• 特徴類似度分布の結果から、ID-MMD損失を用いた学習後、同一アイデンティティのペア（ポジティブペア）は顕著に類似度が高く、異なるアイデンティティのペア（ネガティブペア）は類似度が低くなった。
• DVG-Faceが生成過程でアイデンティティドリフトを経験するのに対し、本手法は生成された画像ペア間で完全なアイデンティティの一貫性を維持していることが、定性的な比較で示された。