[論文レビュー] Cross-Domain Face Verification: Matching ID Document and Self-Portrait Photographs

Guilherme Folego, Marcus A. Angeloni+3 more|arXiv (Cornell University)|Nov 17, 2016

Face recognition and analysis参考文献 19被引用数 6

ひとこと要約

本稿では、自己撮影のセルフィーと印刷された本人確認書類の写真を照合するクロスドメイン顔認証システムを提案している。光度補正、事前学習済みVGG-16を用いたCNNベースの特徴抽出、および特徴正規化を活用している。最も優れたパイプライン（ACE補正、fc6のReLU特徴、L1正規化、絶対差分結合）は中央値HTERが0.06111を達成し、ベースラインの0.22を著しく上回り、ドメインシフト下での実世界の認証において強い可能性を示している。

ABSTRACT

Cross-domain biometrics has been emerging as a new necessity, which poses several additional challenges, including harsh illumination changes, noise, pose variation, among others. In this paper, we explore approaches to cross-domain face verification, comparing self-portrait photographs ("selfies") to ID documents. We approach the problem with proper image photometric adjustment and data standardization techniques, along with deep learning methods to extract the most prominent features from the data, reducing the effects of domain shift in this problem. We validate the methods using a novel dataset comprising 50 individuals. The obtained results are promising and indicate that the adopted path is worth further investigation.

研究の動機と目的

• セルフィーと印刷された本人確認書類の写真の間で、撮影条件の差が著しい状況下での本人確認の課題に対処すること。
• 照明、ノイズ、ポーズの変化、画像品質の違いに起因するドメインシフトの影響を低減すること。
• ユーザー登録やバイオメトリクスプロファイル作成を回避する、分類器に依存しないパイプラインを構築し、プライバシーとデータ要件を最小限に抑えること。
• 画像前処理、特徴抽出、正規化、結合手法の影響が認証性能に与える影響を評価すること。
• 実世界のデジタルオンボーディングシナリオにおけるクロスドメイン顔認証のベースラインを確立すること。

提案手法

• セルフィーと本人確認書類写真間の照度およびコントラストの差を低減するため、自動色等化（ACE）を適用して光度補正を実施した。
• ドメインシフトに対処するため、転移学習を活用し、事前学習済みVGG-16のfc6層からReLU活性化関数を介して深層特徴を抽出した。
• ドメイン間のマグニチュード差を低減し、特徴空間の整合性を向上させるために、特徴ベクトルにL1正規化を適用した。
• 二つのドメインからの特徴を絶対差分演算で結合し、相違点を強調し、識別性を向上させた。
• 結合された特徴上で複数の分類器（線形SVM、RBF-SVM、ロジスティック回帰）を訓練・比較し、性能の安定性を評価した。
• 1,600回の実験を実施し、100回のランダムなデータセット分割を伴う16通りのパイプライン組み合わせを用いて、堅牢な評価を確保した。

実験結果

リサーチクエスチョン

• RQ1 光度補正（例：ACE）はクロスドメイン顔認証性能を顕著に向上させるか？
• RQ2 どのCNN層と活性化関数がドメインシフト下で最も識別性の高い特徴を生成するか？
• RQ3 L1正規化などの特徴正規化は、異なるドメインからの特徴を結合する際の性能向上に寄与するか？
• RQ4 絶対差分による特徴結合は、単純な連結や他の手法と比較して認証精度を向上させるか？
• RQ5 異なる分類器（SVM、ロジスティック回帰）は、このクロスドメイン環境下で統計的に有意な性能差を示すか？

主な発見

• ACEによる画像強調処理により、認証性能が顕著に向上し、中央値HTERがベースラインの0.22から0.06111に低下した。
• ReLU活性化関数を用いたfc6層が、VGG-16ネットワーク内での他の層や活性化関数と比較して、最も効果的な特徴表現を提供した。
• L1正規化はすべてのパイプラインで一貫して性能向上を示し、マグニチュード正規化がクロスドメイン特徴整合に不可欠であることを示した。
• 絶対差分による特徴結合手法が他の手法を上回り、ドメイン固有の相違点を効果的に捉えていた。
• 分類器間で統計的に有意な差は認められず（p = 0.96365）、抽出された特徴はすでに線形分離可能であることが示された。
• 最も優れたパイプラインはFAR 0.02222、FRR 0.10000を達成し、90％の真陽性率と強力な偽者拒否能力を示した。