[논문 리뷰] Restricted Black-box Adversarial Attack Against DeepFake Face Swapping

Junhao Dong, Yuan Wang외 2명|arXiv (Cornell University)|2022. 04. 26.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 타겟 모델에 대한 쿼리 없이, DeepFake 얼굴 교체 시스템을 방해하기 위해 이전성 있는 적대적 편향을 생성하는 제한된 블랙박스 적대적 공격을 제안한다. 새로운 TCA-GAN 프레임워크를 통해 대체 모델을 훈련하고 후처리 정규화를 적용함으로써, 얼굴 교체 출력이 심각하게 왜곡되어 다른 얼굴 변형 모델로의 일반화가 강할지라도 탐지 정확도가 크게 떨어지게 된다.

ABSTRACT

DeepFake face swapping presents a significant threat to online security and social media, which can replace the source face in an arbitrary photo/video with the target face of an entirely different person. In order to prevent this fraud, some researchers have begun to study the adversarial methods against DeepFake or face manipulation. However, existing works focus on the white-box setting or the black-box setting driven by abundant queries, which severely limits the practical application of these methods. To tackle this problem, we introduce a practical adversarial attack that does not require any queries to the facial image forgery model. Our method is built on a substitute model persuing for face reconstruction and then transfers adversarial examples from the substitute model directly to inaccessible black-box DeepFake models. Specially, we propose the Transferable Cycle Adversary Generative Adversarial Network (TCA-GAN) to construct the adversarial perturbation for disrupting unknown DeepFake systems. We also present a novel post-regularization module for enhancing the transferability of generated adversarial examples. To comprehensively measure the effectiveness of our approaches, we construct a challenging benchmark of DeepFake adversarial attacks for future development. Extensive experiments impressively show that the proposed adversarial attack method makes the visual quality of DeepFake face images plummet so that they are easier to be detected by humans and algorithms. Moreover, we demonstrate that the proposed algorithm can be generalized to offer face image protection against various face translation methods.

연구 동기 및 목표

• 기존의 DeepFake 얼굴 교체에 대한 적대적 공격가 실용적 한계를 해결하기 위해, 화이트박스 액세스 또는 광범위한 쿼리에 의존하지 않는다.
• 타겟 모델에 대한 쿼리 없이도 작동하는 제한된 블랙박스 공격을 개발하여 실세계 적용 가능성을 확보한다.
• 새로운 생성 프레임워크와 후처리 정규화를 통해 알려지지 않은 DeepFake 모델로의 적대적 예제의 이전성을 향상시킨다.
• 향후 연구를 위한 DeepFake 얼굴 교체에 대한 적대적 공격 평가를 위한 벤치마크 데이터셋을 구축한다.
• 적대적 왜곡이 기존 DeepFake 탐지 방법의 성능을 향상시킬 수 있음을 입증한다.

제안 방법

• 이전성 있는 사이클-일致한 방식으로 공격과 방어를 시뮬레이션함으로써, 적대적 편향을 생성하기 위해 전이 가능한 사이클 적대적 생성 적대적 신경망(TCA-GAN)을 제안한다.
• 깊은 오토에인코더 기반의 대체 모델을 훈련시켜 얼굴를 재구성함으로써, 알려지지 않은 DeepFake 모델의 동작을 모방한다.
• 대체 모델에서 적대적 예제를 생성하고, 어떠한 쿼리 없이도 블랙박스 타겟 모델로 직접 전이한다.
• 생성된 적대적 예제에 새로운 후처리 정규화 모듈을 적용하여 다양한 얼굴 변형 시스템 간의 이전성과 강건성을 향상시킨다.
• 왜곡 정도를 정량화하기 위해 참조 기반(SIM, FSIM) 및 비참조 기반(BRISQUE) 이미지 품질 지표를 사용하여 평가한다.
• StarGAN, GANImation, SaGAN, AttGAN과 같은 다른 얼굴 번역 모델으로도 일반화되어 있으며, 광범위한 적용 가능성을 입증한다.

Figure 1: Illustration of the taxonomy of adversarial attacks against the target Deep Neural Network (DNN). “Training and inference Backward Propagation (BP)” are corresponding to the accessibility to backward gradients of the target model, which are related to training and inference of our adversar

실험 결과

연구 질문

• RQ1 타겟 DeepFake 모델에 대한 쿼리가 전혀 허용되지 않는 제한된 블랙박스 적대적 공격이 효과적일 수 있는가?
• RQ2 알려지지 않은 DeepFake 얼굴 교체 모델로의 적대적 편향을 어떻게 높은 수준의 이전성으로 만들 수 있는가?
• RQ3 적대적 왜곡이 얼굴 교체 이미지의 시각적 품질을 심각하게 떨어뜨려 탐지 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법이 DeepFake 얼굴 교체를 초과하여 다양한 얼굴 변형 모델로 얼마나 일반화되는가?
• RQ5 후처리 정규화가 제한된 블랙박스 환경에서 적대적 예제의 이전성과 강건성을 향상시키는가?

주요 결과

• 제안된 방법은 얼굴 교체 이미지의 SSIM를 최소 0.591까지 낮추고 BRISQUE 점수를 49.51까지 상승시켜 심각한 시각적 왜곡을 유도한다.
• 제안된 벤치마크에서 적대적 예제는 Xception의 탐지 정확도를 67.1%에서 71.4%로, CNNDetection의 경우 78.3%에서 79.7%로 떨어뜨려 탐지 가능성 향상에 명백한 영향을 미쳤다.
• StarGAN, GANImation, SaGAN, AttGAN과 같은 다른 얼굴 번역 모델로도 효과적으로 일반화되었으며, 모든 모델에서 일관된 시각적 열화가 발생했다.
• 후처리 정규화는 적대적 예제의 이전성을 크게 향상시켜 알려지지 않은 타겟 모델에서 더 강력한 방해 효과를 유도했다.
• 이 방법에 의해 유도된 적대적 예제는 여러 DeepFake 탐지 모델의 성능을 향상시켰으며, 방어 수단으로서의 유용성을 입증했다.
• 모델 기울기나 쿼리 없이도 강력한 시각적 왜곡을 달성하여 실용적인 제한된 블랙박스 시나리오에서 효과적임을 입증했다.

Figure 2: Comparison of DeepFake face swapping between the legitimate and the adversarial example. DeepFake aims to replace the source face in the original image with the fake face of the target identity. The adversarial example can be easily obtained by adding a visually undetectable adversarial pe