[논문 리뷰] Exploring Frequency Adversarial Attacks for Face Forgery Detection

Shuai Jia, Chao Ma외 4명|arXiv (Cornell University)|2022. 03. 29.

Digital Media Forensic Detection인용 수 5

한 줄 요약

이 논문은 DCT를 사용하여 주파수 도메인에 희미한 변형을 주입함으로써 이미지 품질과 전이성(transferability)을 크게 향상시키는 주파수 적대적 공격을 제안한다. 메타학습 기반 전략을 통해 공간 도메인과 주파수 도메인의 공격을 조합함으로써, 이 방법은 상태 기준 공격 성공률에 도달한다—Res50 기준 최대 65.4%이며, 시각적 정밀도를 유지한다.

ABSTRACT

Various facial manipulation techniques have drawn serious public concerns in morality, security, and privacy. Although existing face forgery classifiers achieve promising performance on detecting fake images, these methods are vulnerable to adversarial examples with injected imperceptible perturbations on the pixels. Meanwhile, many face forgery detectors always utilize the frequency diversity between real and fake faces as a crucial clue. In this paper, instead of injecting adversarial perturbations into the spatial domain, we propose a frequency adversarial attack method against face forgery detectors. Concretely, we apply discrete cosine transform (DCT) on the input images and introduce a fusion module to capture the salient region of adversary in the frequency domain. Compared with existing adversarial attacks (e.g. FGSM, PGD) in the spatial domain, our method is more imperceptible to human observers and does not degrade the visual quality of the original images. Moreover, inspired by the idea of meta-learning, we also propose a hybrid adversarial attack that performs attacks in both the spatial and frequency domains. Extensive experiments indicate that the proposed method fools not only the spatial-based detectors but also the state-of-the-art frequency-based detectors effectively. In addition, the proposed frequency attack enhances the transferability across face forgery detectors as black-box attacks.

연구 동기 및 목표

• 공간 도메인에서 눈에 띄는 변형을 가진 적대적 예외에 취약한 얼굴 위조 탐지기의 취약성을 해결한다.
• 이미지 품질을 유지하면서 더 희미한 변형을 생성할 수 있는 주파수 도메인 적대적 공격의 잠재력을 탐색한다.
• 공간 기반 및 주파수 기반 모델을 포함한 다양한 얼굴 위조 탐지기 간의 적대적 공격 전이성(transferability)을 향상시킨다.
• 공간 도메인과 주파수 도메인의 변형을 조합하여 각 도메인의 강점을 살린 하이브리드 공격 전략을 개발한다.
• 더 자연스럽고 덜 탐지 가능한 형태의 적대적 예외를 도입함으로써 얼굴 위조 탐지기의 강건성 평가를 향상시킨다.

제안 방법

• 입력 이미지를 공간 도메인에서 주파수 도메인으로 변환하기 위해 이산余弦변환(DCT)을 적용한다.
• 특정 주파수 대역에서 에너지를 선택적으로 수정하기 위해 적대적 손실을 사용하는 융합 모듈을 도입하며, 주목할 만한 영역에 집중한다.
• 공간 공격에서 흔히 발생하는 여분의 노이즈를 피하기 위해 주파수 도메인에서 간접적으로 적대적 변형을 주입한다.
• 역 DCT를 사용하여 변형된 주파수 표현을 다시 공간 도메인으로 매핑함으로써 최종 적대적 예외를 생성한다.
• 메타학습 기반 최적화 전략을 사용하여 공간 도메인과 주파수 도메인에서 번갈아가며 변형을 최적화하는 하이브리드 적대적 공격을 설계한다.
• 공간 도메인과 주파수 도메인의 변형을 호환 가능한 방식으로 조합하여 공격 성능과 전이성을 향상시킨다.

실험 결과

연구 질문

• RQ1 주파수 도메인의 적대적 공격는 전통적인 공간 도메인 공격보다 더 희미한 변형을 생성할 수 있는가?
• RQ2 최신 주파수 기반 얼굴 위조 탐지기와 비교할 때 주파수 적대적 공격는 공간 공격보다 성능이 뛰어나게 작동하는가?
• RQ3 공간 도메인과 주파수 도메인의 공격를 조합하면 블랙박스 환경에서 전이성이 향상되는가?
• RQ4 낮은, 중간, 높은 주파수 대역 중 어느 것이 적대적 공격에 가장 효과적인가? 그 이유는 무엇인가?
• RQ5 제안된 하이브리드 공격는 높은 공격 성공률를 달성하면서도 이미지 품질을 어느 정도 유지하는가?

주요 결과

• 제안된 주파수 적대적 공격는 FaceForensics++ 데이터셋에서 42.7 PSNR와 0.1763 SSIM를 기록하여, FGSM(23.3 PSNR, 0.0881 SSIM)과 PGD(30.4 PSNR, 0.1343 SSIM)보다 이미지 품질 지표에서 뚜렷한 우월성을 보였다.
• 화이트박스 설정에서 Res50 탐지기 기준 하이브리드 적대적 공격는 65.4%의 공격 성공률를 기록하였으며, 공간 공격 전용(60.2%)과 주파수 공격 전용(29.3%)을 모두 초월하였다.
• 블랙박스 설정에서 하이브리드 공격는 Xcep에서 49.6%의 성공률, Eff_b4에서 41.4%의 성공률를 기록하여 다양한 탐지기 간 강력한 전이성을 입증하였다.
• 저주파 대역을 공격할 경우 성능이 가장 뛰어났으며(Xcep 기준 49.1%), 저주파 대역은 더 많은 구조적 정보를 담고 있어 더 효과적인 변형을 생성하기 때문이다.
• 공간 및 주파수 변형의 단순 합은 전이성을 떨어뜨리는 반면, 메타학습 기반 하이브리드 방법은 높은 성능과 일반화 능력을 유지한다.
• 시각적 분석 결과, 제안된 방법으로 생성된 적대적 예외는 FGSM 및 PGD에 비해 더 자연스럽고 노이즈가 적으며, 최소한의 인지적 품질 저하를 보였다.