[논문 리뷰] Feature Extraction Matters More: Universal Deepfake Disruption through Attacking Ensemble Feature Extractors

Long Tang, Dengpan Ye외 5명|arXiv (Cornell University)|2023. 03. 01.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 유니버설 딥페이크 방해 기법 FOUND을 제안한다. 이 기법은 먼저 앙상블 특징 추출기 모듈을 공격한 후, 종합 기반의 기울기 방법을 적용하여 종단 간 방해를 강화한다. 딥페이크 생성의 핵심인 특징 추출 과정을 공격함으로써, HiSD에서 최대 98.55%까지의 최신 기술 수준(SOTA) 성공률을 달성하며, 극소수의 학습 데이터로도 뛰어난 효율성을 보이며, 화이트박스 및_BLK박스 전이 가능성에서 기존의 유니버설 방해 기법들을 능가한다.

ABSTRACT

Adversarial example is a rising way of protecting facial privacy security from deepfake modification. To prevent massive facial images from being illegally modified by various deepfake models, it is essential to design a universal deepfake disruptor. However, existing works treat deepfake disruption as an End-to-End process, ignoring the functional difference between feature extraction and image reconstruction, which makes it difficult to generate a cross-model universal disruptor. In this work, we propose a novel Feature-Output ensemble UNiversal Disruptor (FOUND) against deepfake networks, which explores a new opinion that considers attacking feature extractors as the more critical and general task in deepfake disruption. We conduct an effective two-stage disruption process. We first disrupt multi-model feature extractors through multi-feature aggregation and individual-feature maintenance, and then develop a gradient-ensemble algorithm to enhance the disruption effect by simplifying the complex optimization problem of disrupting multiple End-to-End models. Extensive experiments demonstrate that FOUND can significantly boost the disruption effect against ensemble deepfake benchmark models. Besides, our method can fast obtain a cross-attribute, cross-image, and cross-model universal deepfake disruptor with only a few training images, surpassing state-of-the-art universal disruptors in both success rate and efficiency.

연구 동기 및 목표

• 기존의 유니버설 딥페이크 방해 기법들이 특징 추출과 이미지 복원 과정을 구분하지 않고 종단 간 공격으로 간주함으로써, 모델 간 일반화 능력에 결함이 있음을 해결하고자 한다.
• 전체 생성기 대신 특징 추출 모듈을 공격할 경우, 더 효과적이고 보편적인 딥페이크 방해가 가능할지 탐구하고자 한다.
• 최소한의 학습 데이터로도 화이트박스 보편성과 블랙박스 전이 가능성 모두를 향상시키는 이중 단계 공격 프레임워크를 개발하고자 한다.
• 다양한 모델을 대상으로 한 종단 간 공격에서 발생하는 복잡한 최적화 갈등 문제를 해결하기 위해, 새로운 기울기-앙상블 전략을 도입하고자 한다.

제안 방법

• 다중 단계의 공격 프로세스를 제안한다: 먼저, 다중 특징 집합 및 개별 특징 유지 전략을 통해 여러 딥페이크 모델의 특징 추출기 모듈을 공격한다.
• 종단 간 단계에서 최적화 갈등을 완화하고 전반적인 공격 성능을 향상시키기 위해, 기울기-앙상블 공격 전략을 도입한다.
• 왜곡을 최소화하면서도 공격 효과를 극대화하기 위해, 원본 이미지의 특징를 유지하는 단순하면서도 효과적인 손실 함수를 사용한다.
• 다양한 속성, 이미지, 모델 간에 효과적인 유니버설 방해 기법을 생성하기 위해, 극소수의 학습 이미지(소수 학습)를 활용한다.
• 특징 추출기 공격을 전체 모델 공격에서 분리함으로써, 복잡한 다중 모델 최적화 문제를 더 단순하고 모듈화된 작업들로 분해한다.
• 속성 수정 GAN에서 특징 추출의 구조적 및 기능적 유사성을 활용하여, 모델 간 전이 가능성을 높인다.

실험 결과

연구 질문

• RQ1 딥페이크 모델의 특징 추출 모듈을 공격하는 것이 종단 간 공격에 비해 더 효과적이고 일반화 능력이 뛰어난가?
• RQ2 다양한 딥페이크 모델 간 성공률 및 내구성 측면에서 특징 추출기의 앙상블 공격 방식은 종단 간 공격 방식과 비교해 어떻게 다른가?
• RQ3 기울기-앙상블 전략이 다중 모델 종단 간 공격의 최적화 안정성과 성능을 향상시킬 수 있는가?
• RQ4 특징 추출기 공격이 유니버설 딥페이크 방해 기법의 블랙박스 전이 가능성에 얼마나 기여하는가?
• RQ5 특징 추출기 공격에 집중함으로써, 극소수의 이미지만으로도 효과적인 유니버설 방해 기법을 학습시킬 수 있는가?

주요 결과

• 특징 추출기 모듈만을 공격하는 방식(FEATURE-ENSEMBLE)이 네 개의 딥페이크 모델 평균 성공률 95.69%를 기록하며, 종단 간 공격에 비해 뚜렷이 뛰어난 성능을 보였다.
• 특징-앙상블과 종단 간 기울기-앙상블(FOUND)의 조합이 HiSD에서 최고 성공률 98.55%를 기록했으며, StarGAN과 AGGAN에서는 100%의 성공률를 달성했다.
• FOUND는 평균 L2 마스크 거리 0.20으로, 왜곡이 최소화된 고품질의 편향을 생성함을 의미한다.
• FOUND의 FID 점수는 평균 273.46로, 기준선 방법보다 생성된 출력물이 더 현실적으로 보임을 보여준다.
• FOUND는 강력한 블랙박스 전이 가능성을 보였다: 낮은 편향 크기에서, 모든 크기에서 CMUA 및 무작위 가우시안 노이즈보다 성공률 증가율이 높았다.
• 극소수의 학습 이미지만으로도 최신 기술 수준의 성능을 달성하여, 높은 효율성과 다양한 속성, 이미지, 모델 간 강력한 일반화 능력을 입증했다.