[論文レビュー] Beyond the Visible: A Survey on Cross-spectral Face Recognition

David Anghelone, Cunjian Chen+2 more|arXiv (Cornell University)|Jan 12, 2022

Face recognition and analysis被引用数 4

ひとこと要約

本サーベイは、可視光と赤外線スペクトルの間のモダリティギャップを埋めるために深層学習技術に焦点を当てた、クロススペクトル顔認識（CFR）の包括的概要を提供する。CNNおよびGANを用いた手法の評価、主要なデータセットの特定、スペクトル変動、限られたデータ、解像度の問題といった課題を明らかにし、耐障害性がありプライバシーを守るバイオメトリクスシステムのための今後の研究方向性に結論づけている。

ABSTRACT

Cross-spectral face recognition (CFR) refers to recognizing individuals using face images stemming from different spectral bands, such as infrared versus visible. While CFR is inherently more challenging than classical face recognition due to significant variation in facial appearance caused by the modality gap, it is useful in many scenarios including night-vision biometrics and detecting presentation attacks. Recent advances in deep neural networks (DNNs) have resulted in significant improvement in the performance of CFR systems. Given these developments, the contributions of this survey are three-fold. First, we provide an overview of CFR, by formalizing the CFR problem and presenting related applications. Secondly, we discuss the appropriate spectral bands for face recognition and discuss recent CFR methods, placing emphasis on deep neural networks. In particular we describe techniques that have been proposed to extract and compare heterogeneous features emerging from different spectral bands. We also discuss the datasets that have been used for evaluating CFR methods. Finally, we discuss the challenges and future lines of research on this topic.

研究の動機と目的

• クロススペクトル顔認識（CFR）問題を形式化し、従来の可視スペクトル顔認識との違いを明確化すること。
• CFRにおける課題を分析すること、特にスペクトル内変動の大きさ、モダリティギャップ、およびスペクトル帯域間でのペアドトレーニングデータの限界。
• CNNおよびGANを用いてドメイン不変特徴を学習し、クロススペクトル画像を合成する深層学習ベースのCFR手法をレビューおよび分類すること。
• CFR研究で用いられる既存のデータセットを評価し、データの可用性および多様性におけるギャップを特定すること。
• 未解決の研究課題を提示すること、特に一般化の向上、熱帯域における解像度の向上、スプーフィングおよびプライバシー脅威に対する耐性の強化。

提案手法

• 異なるスペクトルモダリティ（例：可視光、NIR、LWIR）からの顔画像を、モダリティ固有の外観差を最小化するようにトレーニングされた深層学習モデルを用いてマッチングするタスクとしてCFRを形式化すること。
• 特に三重損失を用いてドメイン不変特徴を学習し、スペクトルドメイン間でクラス内凝集性とクラス間分離性を強制することで、深層ニューラルネットワークを介したドメイン不変特徴学習を実施すること。
• 生成的対抗ネットワーク（GAN）を用いてクロススペクトル顔画像を合成し、アイデンティティ損失によりアイデンティティが保持され、補助損失（例：形状、意味的、属性）によりリアルさと忠実度が向上すること。
• ペアドトレーニングサンプルを必要としないため、教師なしドメイン適応技術を用いて、ソース（例：可視光）ドメインとターゲット（例：赤外線）ドメインの特徴分布を一致させること。
• 特にMWIRおよびLWIR帯域における低解像度の熱画像を向上させるために、スーパーレゾリューション後処理を統合すること。
• 偏光を含むマルチスペクトルイメージング（LWIRにおける偏光）を用いて、顔面の物理的特性を追加で捉え、認識精度を向上させること。

実験結果

リサーチクエスチョン

• RQ1 どのようにして深層ニューラルネットワークが、可視光、NIR、熱赤外線といった異種スペクトル帯域間でアイデンティティ不変特徴を効果的に学習できるか？
• RQ2 ドメインシフト下でエンドツーエンドのCFRモデルをトレーニングする際に、最も効果的な損失関数（例：三重損失対照合損失）は何か？
• RQ3 GANベースの画像合成は、クロススペクトル顔認識におけるモダリティギャップをどの程度縮小できるか？また、補助損失は合成品質をどのように向上させるか？
• RQ4 スペクトル帯選択（NIR、SWIR、MWIR、LWIR）が認識性能に与える影響は何か？また、実世界の応用において最も適しているのはどれか？
• RQ5 現在のCFRデータセットの主な制限は何か？今後のデータ収集は、モデルの一般化性と耐障害性をどのように向上させられるか？

主な発見

• 三重損失は、特徴空間におけるクラス内変動の最小化とクラス間マージンの最大化を同時に実現するため、CFRにおいて照合損失を上回る性能を示す。
• GANベースのクロススペクトル画像合成は、モダリティギャップを埋める可能性を示しているが、合成データはまだ実データにおける最先端性能に到達していない。
• 反射型赤外線（NIR）は、可視光へのCFRにおいて、より高い解像度と既存システムとの互換性があるため、好ましいスペクトル帯である。
• 熱帯域（MWIR/LWIR）は、低照度環境やスプーフィング検出において利点を有するが、解像度が低く、可視光やNIRと比較してモダリティギャップが顕著である。
• LWIRにおける偏光は、標準的な強度ベースの熱画像よりも高い認識精度を示しており、将来的な高性能システムへの可能性を示唆している。
• 技術の進展にもかかわらず、CFRは依然として、公開可能で大規模かつ多様なデータセットが不足しており、モデルの一般化性とベンチマーク評価を制限している。