[논문 리뷰] Protecting Facial Privacy: Generating Adversarial Identity Masks via Style-robust Makeup Transfer

Shengshan Hu, Xiaogeng Liu외 5명|arXiv (Cornell University)|2022. 03. 07.

Face recognition and analysis인용 수 7

한 줄 요약

이 논문은 상업적 얼굴 인식 API에 대해 강력한 블랙박스 공격 성공률을 달성하면서도 시각적 품질을 유지하기 위해 기준 이미지에서 메이크업 스타일을 전이하여 적대적 얼굴 이미지를 생성하는 GAN 기반 프레임워크인 AMT-GAN을 제안한다. 정규화 모듈과 공동 학습을 통합함으로써, AMT-GAN은 적대적 편향 강도와 사이클 일관성 간의 균형을 이루며, 공격 성공률 및 이미지 품질 지표에서 최신 기법들을 능가한다.

ABSTRACT

While deep face recognition (FR) systems have shown amazing performance in identification and verification, they also arouse privacy concerns for their excessive surveillance on users, especially for public face images widely spread on social networks. Recently, some studies adopt adversarial examples to protect photos from being identified by unauthorized face recognition systems. However, existing methods of generating adversarial face images suffer from many limitations, such as awkward visual, white-box setting, weak transferability, making them difficult to be applied to protect face privacy in reality. In this paper, we propose adversarial makeup transfer GAN (AMT-GAN), a novel face protection method aiming at constructing adversarial face images that preserve stronger black-box transferability and better visual quality simultaneously. AMT-GAN leverages generative adversarial networks (GAN) to synthesize adversarial face images with makeup transferred from reference images. In particular, we introduce a new regularization module along with a joint training strategy to reconcile the conflicts between the adversarial noises and the cycle consistence loss in makeup transfer, achieving a desirable balance between the attack strength and visual changes. Extensive experiments verify that compared with state of the arts, AMT-GAN can not only preserve a comfortable visual quality, but also achieve a higher attack success rate over commercial FR APIs, including Face++, Aliyun, and Microsoft.

연구 동기 및 목표

• 기존의 적대적 얼굴 공격 기법이 지닌 한계, 즉 낮은 시각적 품질, 약한 이식성, 화이트박스 또는 쿼리 기반 설정에 의존하는 문제를 해결하기 위해.
• 사용자가 대상 얼굴 인식 모델에 대한 액세스 없이도 소셜 미디어에서 자신의 얼굴 이미지를 보호할 수 있도록 하는 프라이버시 보존 방법을 개발하기 위해.
• 새로운 생성 프레임워크를 통해 블랙박스 환경에서 높은 공격 성공률과 자연스러운 이미지 품질을 동시에 달성하기 위해.
• 메이크업 전이를 구조적 편향 메커니즘으로 활용하여 적대적 예제의 강건성과 시각적 정밀도를 향상시키기 위해.
• 프라이버시 보존 얼굴 생성을 위한 이미지 간 번역에서 적대적 노이즈와 사이클 일관성 손실 간의 갈등을 해소하기 위해.

제안 방법

• AMT-GAN은 기준 이미지에서의 메이크업 스타일을 소스 얼굴에 전이함으로써 적대적 얼굴 이미지를 생성하기 위해 조건부 GAN 프레임워크를 사용한다.
• 적대적 노이즈와 사이클 일관성 손실 간의 갈등을 완화하기 위해 새로운 정규화 모듈을 도입하여 재구성 과정에서 이미지 품질을 향상시킨다.
• 특징 분리와 초해상도 품질 향상을 향상시키기 위해 잔차 밀도 블록을 사용하는 인코더-디코더 구조를 사용한다.
• 표준 GAN 학습 과정과 정규화 모듈, 사이클 일관성 손실을 통합하는 공동 학습 전략을 통해 학습 안정성을 높인다.
• 분리된 표현을 활용하여 유일하게 스타일(메이크업)만 전이되도록 하되, 정체성과 구조적 콘텐츠는 유지한다.
• 엔드 투 엔드로 훈련되어 다양한 대상 모델에서 높은 공격 성공률를 유지하면서도 자연스러운 외관을 가진 적대적 얼굴 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 메이크업 전이가 얼굴 프라이버시 보호를 위한 적대적 편향을 구조화하는 자연스럽고 효과적인 메커니즘으로 사용될 수 있는가?
• RQ2 적대적 노이즈와 사이클 일관성 손실을 어떻게 균형 잡아 이미지 품질은 유지하면서도 공격 강도를 확보할 수 있는가?
• RQ3 제안된 방법이 상업적 얼굴 인식 API에서 기존의 적대적 공격 기법들보다 뛰어난 블랙박스 이식성을 달성하는가?
• RQ4 기준 이미지(메이크업 스타일)의 선택이 생성된 적대적 얼굴 이미지의 시각적 품질과 공격 성공률에 어느 정도 영향을 미치는가?
• RQ5 정규화 모듈이 사이클 일관성 GAN에서 발생하는 적대적 독성으로 인한 아티팩트를 줄이고 학습을 안정화시키는가?

주요 결과

• AMT-GAN은 Face++에서 98.7%의 공격 성공률, Aliyun에서 97.3%, Microsoft Azure에서 96.5%를 기록하여 최신 기법들을 크게 능가한다.
• FID는 38.7357(TIP-IM)에서 34.4405로 감소하고 PSNR는 33.2089에서 19.5045로 향상되어 더 나은 이미지 품질을 나타낸다.
• 절단 실험 결과 정규화 모듈을 제거할 경우 이미지 품질이 악화되며, FID는 37.5486으로 증가하고 PSNR는 19.3132로 하락한다.
• 다양한 메이크업 스타일을 가진 10개의 기준 이미지에 대해 일관된 공격 성공률를 유지하여 강력한 스타일 내성성을 입증한다.
• 시각적 평가 결과 AMT-GAN이 생성한 적대적 얼굴 이미지는 이전 기법들보다 더 자연스럽고 노이즈가 적은 것으로 확인되었다.
• 프레임워크는 여성 얼굴에서 더 높은 공격 성공률를 보이며, 이는 훈련 데이터에 성별 편향이 존재하여 성능에 영향을 미친다는 것을 시사한다.