[論文レビュー] Vec2Face-v2: Unveil Human Faces from their Blackbox Features via Attention-based Network in Face Recognition

Thanh-Dat Truong, Chi Nhan Duong+3 more|arXiv (Cornell University)|Sep 11, 2022

Face recognition and analysis被引用数 6

ひとこと要約

本稿では、ブラックボックス型顔認識特徴量から高精細な顔画像を再構築するための新規な注目メカニズムを備えた生成的対抗ネットワーク、DAB-GANを提案する。本手法は、双射的メトリック学習と知識蒸留を組み合わせており、顔認識のモデル構造が不明な状況下でも、複数のオープンセット顔認識ベンチマークで、顔の同一性保持と画像の現実性の両面で最先端の性能を達成している。

ABSTRACT

In this work, we investigate the problem of face reconstruction given a facial feature representation extracted from a blackbox face recognition engine. Indeed, it is a very challenging problem in practice due to the limitations of abstracted information from the engine. We, therefore, introduce a new method named Attention-based Bijective Generative Adversarial Networks in a Distillation framework (DAB-GAN) to synthesize the faces of a subject given his/her extracted face recognition features. Given any unconstrained unseen facial features of a subject, the DAB-GAN can reconstruct his/her facial images in high definition. The DAB-GAN method includes a novel attention-based generative structure with the newly defined Bijective Metrics Learning approach. The framework starts by introducing a bijective metric so that the distance measurement and metric learning process can be directly adopted in the image domain for an image reconstruction task. The information from the blackbox face recognition engine will be optimally exploited using the global distillation process. Then an attention-based generator is presented for a highly robust generator to synthesize realistic faces with ID preservation. We have evaluated our method on the challenging face recognition databases, i.e., CelebA, LFW, CFP-FP, CP-LFW, AgeDB, CA-LFW, and consistently achieved state-of-the-art results. The advancement of DAB-GAN is also proven in both image realism and ID preservation properties.

研究の動機と目的

• ブラックボックス型顔認識特徴量から顔画像を再構築するという挑戦的な問題に取り組むこと。この際、モデルのアーキテクチャーやトレーニングデータが不明である。
• 入力画像や認識エンジンの構造へのアクセスが欠如している状況下でも、再構築された顔の被写体の同一性を保持すること。
• 画像空間における直接的かつ解釈可能な距離測定を可能にする双射的メトリック学習フレームワークを導入することで、画像の現実性とID忠実性を向上させること。
• 特徴量埋め込みからの情報抽出を最大化するために、ブラックボックスエンジンからの知識蒸留を活用すること。
• オープンセット認識条件下で、多様で制約のない顔データセットを対象に、手法の有効性を検証すること。

提案手法

• 画像ペア間の1対1対応を確立する新規な双射的メトリック学習アプローチを提案し、再構築タスクにおいて画像ドメインで直接的かつ解釈可能な距離測定を可能にする。
• 特徴量の精錬と空間的注目を強化する注目メカニズムを備えた生成器を導入し、潜在特徴量から現実的で同一性を保持した顔を合成する。
• ブラックボックス認識エンジンから生成器へ知識を転送するための蒸留フレームワークを採用し、特徴量埋め込みからの情報利用を最大化する。
• 知覚的損失と再構築損失を組み合わせた敵対的訓練方式を用い、画像の忠実性と構造的一致性を向上させる。
• 元のトレーニングデータにアクセスできない状況下でも、生成器の出力分布を実際の顔分布と一致させるためのグローバル蒸留プロセスを適用する。
• 双射的メトリックのリプシッツ連続性を活用し、トレーニング中に安定的かつ意味のある最適化を保証する。

実験結果

リサーチクエスチョン

• RQ1 モデルのアーキテクチャーやトレーニングデータにアクセスできない状況下でも、生成モデルがブラックボックス型顔埋め込みから高精細な顔画像を再構築できるか？
• RQ2 双射的メトリック学習は、深層特徴量からの画像再構築の品質と一貫性を向上させるのにどの程度有効か？
• RQ3 ブラックボックス認識エンジンからの知識蒸留は、生成された顔の現実性と同一性保持性をどの程度向上させられるか？
• RQ4 ブラックボックス制約下において、注目メカニズムを備えた生成器アーキテクチャは、標準的なGANよりも顔の同一性保持と高品質な画像生成において優れているか？
• RQ5 提案手法は、多様で実際の状況下の顔データセットや異なる顔マッチングエンジンに対して、どの程度一般化可能か？

主な発見

• DAB-GANは、LFW、CFP-FP、CP-LFW、AgeDB、CA-LFWベンチマークで最先端の性能を達成し、ArcFaceでは99.21%、AdaFaceでは98.60%の精度を記録し、顔の同一性保持性が優れていることが示された。
• CelebAテストセットでは、PO_GAN や NBNet といったベースライン手法よりもMS-SSIMおよびインセプションスコアで優れており、画像品質と現実性の両面で優れた性能を示した。
• AgeDBでは94.18%、SCF-ArcFaceでは95.72%の精度を達成し、多様な人種的・年齢的変動に対しても強靭であることが示された。
• 双射的メトリック学習フレームワークにより、画像空間における安定的かつ解釈可能な距離測定が可能になり、トレーニング収束性と再構築忠実性が向上した。
• 注目メカニズムを備えた生成器は、顔の細部を含む特徴の精錬と同一性の一貫性を顕著に向上させた。
• 112×112解像度のトレーニングデータを使用しているにもかかわらず、本手法はより高い解像度へのスケーラビリティを示し、将来的な拡大処理への応用が期待できる。