[논문 리뷰] Evolutionary latent space search for driving human portrait generation

Benjamín Machín, Sergio Nesmachnow외 1명|arXiv (Cornell University)|2022. 04. 25.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 타겟 얼굴 이미지와 매우 유사한 합성 인간 초상화를 생성하기 위해 StyleGAN2의 잠재 공간을 탐색하는 진화 알고리즘을 제안한다. FaceNet을 활용한 유사도 평가와 진화적 탐색을 통한 잠재 벡터 최적화를 통해, 얼굴 인식 시스템을 속이는 다양한 실사적인 얼굴을 생성하며, 실존하는 동일인의 얼굴 이미지와 비교해 FaceNet 임bedding 거리의 최대 27.9% 감소를 달성한다.

ABSTRACT

This article presents an evolutionary approach for synthetic human portraits generation based on the latent space exploration of a generative adversarial network. The idea is to produce different human face images very similar to a given target portrait. The approach applies StyleGAN2 for portrait generation and FaceNet for face similarity evaluation. The evolutionary search is based on exploring the real-coded latent space of StyleGAN2. The main results over both synthetic and real images indicate that the proposed approach generates accurate and diverse solutions, which represent realistic human portraits. The proposed research can contribute to improving the security of face recognition systems.

연구 동기 및 목표

• 주어진 타겟 얼굴과 시각적·의미적으로 유사한 합성 인간 초상화를 효율적으로 생성하는 방법을 개발하기 위해.
• 스타일GAN2의 고차원 잠재 공간을 진화 알고리즘을 활용해 탐색하여 원하는 얼굴 특성을 갖는 벡터를 찾기 위해.
• 생성된 얼굴과 타겟 얼굴 간의 FaceNet 임베딩 거리 최소화를 통해 얼굴 인식 시스템을 속이는 능력을 평가하기 위해.
• 다양한 타겟 이미지와 조건에서 생성된 초상화의 다양성과 품질을 평가하기 위해.
• 제안된 방법의 계산 비용과 확장성을 분석하기 위해.

제안 방법

• 기존에 훈련된 StyleGAN2 생성기의 실수형 잠재 공간을 탐색하기 위해 진화 알고리즘(EA)을 사용하여 인간 얼굴 이미지를 생성한다.
• 생성된 이미지와 타겟 초상화 간의 유사도 평가를 위해 L2 거리 계산을 통한 깊이 신경망 특징 임베딩 간의 유사도를 측정하는 FaceNet을 적합도 함수로 활용한다.
• 타겟 임베딩으로 향하는 L2 거리를 최소화하기 위해 선택, 교차, 변이 연산자를 사용하는 EA를 통해 잠재 벡터를 진화시킨다.
• 타겟 임베딩 사전 계산 및 효율적인 평가 파이프라인 사용과 같은 최적화 기법을 통해 계산 오버헤드를 줄인다.
• 다양성을 확보하기 위해 고차원 잠재 공간(예: 512차원)에서 집단 기반 탐색을 수행한다.
• 재훈련을 피하기 위해 사전 훈련된 모델(StyleGAN2 및 FaceNet)을 활용하여 낮은 계산 비용으로 빠른 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 진화 알고리즘이 StyleGAN2의 잠재 공간을 효과적으로 탐색하여, 타겟 얼굴과 시각적·의미적으로 유사한 합성 인간 초상화를 생성할 수 있는가?
• RQ2 FaceNet과 같은 사전 훈련된 얼굴 인식 모델에 대해 생성된 초상화가 얼마나 높은 유사도를 보이며, 임bedding 유사도로 측정했을 때 얼마나 높은 속임수 성능를 보이는가?
• RQ3 다양한 실행 및 타겟 이미지에 대해 생성된 초상화는 얼마나 다양하며, 솔루션의 다양성에 대해 이 방법이 얼마나 강건한가?
• RQ4 제안된 방법의 계산 비용은 얼마이며, 다양한 타겟 이미지와 하드웨어 구성에서 어떻게 확장되는가?
• RQ5 동일한 타겟 인물에 대해 서로 다른데도 정확한 초상화를 다수 생성할 수 있는가? 이는 충실도와 다양성을 동시에 입증하는가?

주요 결과

• 제안된 방법은 타겟 얼굴과 시각적으로 유사한 합성 인간 초상화를 성공적으로 생성하였으며, 동일인의 다른 실존 이미지와 비교해 FaceNet 임베딩 간 L2 거리가 최대 27.9% 감소하였다.
• 모든 테스트 사례(G2, W2, W3)에서 생성된 이미지의 L2 거리가 기준선(동일인의 다른 실존 이미지)보다 작았으며, 이는 얼굴 인식 시스템을 속이는 능력을 확인한다.
• 높은 솔루션 다양성을 달성하였으며, 10개의 생성 솔루션 간 임베딩 간 L2 거리는 0.314에서 0.865 사이로 다양하면서도 타당한 출력을 보였다.
• 모든 사례에서 평균 다양성은 G2 기준 0.491 ± 0.060, W2 기준 0.645 ± 0.099, W3 기준 0.544 ± 0.070로 나타나, 일관된 다양성 생성 능력을 입증하였다.
• Google Colab 환경에서 15분 이내에 정확한 결과를 산출하여, 사전 훈련된 모델과 효율적인 평가 파이프라인을 활용함으로써 낮은 계산 비용을 입증하였다.
• 결과적으로, StyleGAN2의 잠재 공간에서의 진화적 탐색이 악성 목적을 위한 실사적이고 다양한, 타겟과 유사한 인간 초상화를 효과적으로 생성할 수 있음을 확인하였다.