[논문 리뷰] Vec2Face-v2: Unveil Human Faces from their Blackbox Features via Attention-based Network in Face Recognition

Thanh-Dat Truong, Chi Nhan Duong외 3명|arXiv (Cornell University)|2022. 09. 11.

Face recognition and analysis인용 수 6

한 줄 요약

이 논문은 블랙박스 얼굴 인식 특징에서 고해상도 얼굴 이미지를 복원하기 위해 이변환 거리 학습과 지식 정복을 통합한 주목적 기반 생성 적대적 신경망인 DAB-GAN을 제안한다. 모델 아키텍처나 학습 데이터가 알려지지 않은 상황에서도 다양한 오픈세트 얼굴 인식 벤치마크에서 정체성 유지 및 이미지 현실성 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we investigate the problem of face reconstruction given a facial feature representation extracted from a blackbox face recognition engine. Indeed, it is a very challenging problem in practice due to the limitations of abstracted information from the engine. We, therefore, introduce a new method named Attention-based Bijective Generative Adversarial Networks in a Distillation framework (DAB-GAN) to synthesize the faces of a subject given his/her extracted face recognition features. Given any unconstrained unseen facial features of a subject, the DAB-GAN can reconstruct his/her facial images in high definition. The DAB-GAN method includes a novel attention-based generative structure with the newly defined Bijective Metrics Learning approach. The framework starts by introducing a bijective metric so that the distance measurement and metric learning process can be directly adopted in the image domain for an image reconstruction task. The information from the blackbox face recognition engine will be optimally exploited using the global distillation process. Then an attention-based generator is presented for a highly robust generator to synthesize realistic faces with ID preservation. We have evaluated our method on the challenging face recognition databases, i.e., CelebA, LFW, CFP-FP, CP-LFW, AgeDB, CA-LFW, and consistently achieved state-of-the-art results. The advancement of DAB-GAN is also proven in both image realism and ID preservation properties.

연구 동기 및 목표

• 모델 아키텍처와 학습 데이터가 알려지지 않은 블랙박스 얼굴 인식 특징에서 얼굴 이미지를 복원하는 어려운 문제를 해결하기 위해.
• 입력 이미지나 인식 엔진의 구조적 접근이 없는 상황에서도 재구성된 얼굴의 주체 정체성을 유지하기 위해.
• 이미지 공간에서 직접적인 거리 측정이 가능한 이변환 거리 학습 프레임워크를 도입하여 이미지 현실성과 ID 충실도를 향상시키기 위해.
• 특징 임베딩에서 정보를 최대한 추출하기 위해 블랙박스 엔진으로부터 지식 정복을 활용하기 위해.
• 오픈세트 인식 조건 하에서 다양한 제약 없는 얼굴 데이터셋에 걸쳐 방법의 유효성을 검증하기 위해.

제안 방법

• 이미지 쌍 간의 일대일 매핑을 설정하는 새로운 이변환 거리 학습 방법을 제안하여 재구성 작업을 위한 이미지 도메인에서 직접적이고 해석 가능한 거리 측정이 가능하도록 한다.
• 특징 정제와 공간적 주목적을 향상시켜 정체성을 유지하는 현실적인 얼굴을 잠재 특징에서 합성하는 주목적 기반 생성기 구조를 도입한다.
• 블랙박스 인식 엔진으로부터 생성기에 지식을 전달하는 정복 프레임워크를 활용하여 특징 임베딩에서 정보 활용도를 극대화한다.
• 시각적 손실과 재구성 손실을 포함한 판별적 적대적 훈련 기반 설계를 통해 이미지의 정밀도와 구조적 일致성을 향상시킨다.
• 원래 학습 데이터에 접근할 수 없더라도 생성기의 출력 분포를 진짜 얼굴 분포와 일치시키기 위해 글로벌 정복 프로세스를 적용한다.
• 이변환 거리의 리프시츠 연속성을 활용하여 훈련 중 안정적이고 의미 있는 최적화를 보장한다.

실험 결과

연구 질문

• RQ1 모델 아키텍처나 학습 데이터에 접근할 수 없는 상황에서도 생성 모델이 블랙박스 얼굴 임베딩에서 고해상도 얼굴 이미지를 복원할 수 있는가?
• RQ2 이변환 거리 학습이 깊이 있는 특징에서 이미지 복원 품질과 일관성 향상에 얼마나 효과적인가?
• RQ3 블랙박스 인식 엔진으로부터의 지식 정복이 생성된 얼굴의 현실성과 정체성 유지에 얼마나 기여하는가?
• RQ4 블랙박스 제약 조건 하에서 주목적 기반 생성기 아키텍처가 기존 GAN보다 정체성 유지 및 고품질 이미지 생성에서 뛰어난 성능을 보이는가?
• RQ5 제안된 방법은 다양한 실외 환경의 얼굴 데이터셋과 다양한 얼굴 매칭 엔진에 대해 얼마나 일반화되는가?

주요 결과

• DAB-GAN은 LFW, CFP-FP, CP-LFW, AgeDB, CA-LFW 벤치마크에서 최신 기술 수준의 성능을 달성했으며, ArcFace에서 99.21%의 정확도, AdaFace에서 98.60%의 정확도를 기록하여 강력한 정체성 유지 능력을 입증했다.
• CelebA 테스트 세트에서 DAB-GAN은 PO_GAN과 NBNet과 같은 기준 모델들을 능가하여 MS-SSIM과 Inception Score 모두에서 뛰어난 이미지 품질과 현실성을 보였다.
• AgeDB에서 94.18%의 정확도, SCF-ArcFace에서 95.72%의 정확도를 기록하여 다양한 인구 통계적 요소와 연령대 변화에 대한 강건성을 입증했다.
• 이변환 거리 학습 프레임워크 덕분에 이미지 공간에서 안정적이고 해석 가능한 거리 측정이 가능해져 훈련 수렴과 재구성 충실도가 향상되었다.
• 주목적 기반 생성기는 특징 정제와 정체성 일관성 향상에 크게 기여했으며, 특히 미세한 얼굴 특징 생성에서 뛰어난 성능을 보였다.
• 112×112 해상도 훈련 데이터를 사용했음에도 불구하고 향후 확장 가능성을 고려해 고해상도로의 확장성이 입증되었다.