[논문 리뷰] UnGANable: Defending Against GAN-based Face Manipulation

Zheng Li, Ning Yu외 4명|arXiv (Cornell University)|2022. 10. 03.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

UnGANable는 GAN 역인version 기반 얼굴 조작에 대비하는 최초의 방어 시스템으로, 시각적 유틸리티를 유지하면서도 GAN 역인전 정확도를 떨어뜨리는 클로킹 이미지를 제안한다. 두 가지 벤치마크 데이터셋과 네 종류의 GAN 모델에서 Fawkes 및 13개의 기준 왜곡 방법보다 뛰어난 성능을 보이며, 적응형 공격에 대한 강력한 효과성과 내구성을 입증한다.

ABSTRACT

Deepfakes pose severe threats of visual misinformation to our society. One representative deepfake application is face manipulation that modifies a victim's facial attributes in an image, e.g., changing her age or hair color. The state-of-the-art face manipulation techniques rely on Generative Adversarial Networks (GANs). In this paper, we propose the first defense system, namely UnGANable, against GAN-inversion-based face manipulation. In specific, UnGANable focuses on defending GAN inversion, an essential step for face manipulation. Its core technique is to search for alternative images (called cloaked images) around the original images (called target images) in image space. When posted online, these cloaked images can jeopardize the GAN inversion process. We consider two state-of-the-art inversion techniques including optimization-based inversion and hybrid inversion, and design five different defenses under five scenarios depending on the defender's background knowledge. Extensive experiments on four popular GAN models trained on two benchmark face datasets show that UnGANable achieves remarkable effectiveness and utility performance, and outperforms multiple baseline methods. We further investigate four adaptive adversaries to bypass UnGANable and show that some of them are slightly effective.

연구 동기 및 목표

• GAN 역인전 기반 얼굴 조작의 증가하는 위협에 대응하기 위해, 나이나 머리카락 색상과 같은 얼굴 특징를 무단으로 편집할 수 있는 기술에 대비한다.
• 후속 인version 조작이 아닌 핵심 단계인 GAN 역인전을 공격 대상으로 삼는 방어 체계를 개발한다.
• 방어자 지식 수준에 따라 적응 가능한 맥락 인식 방어 체계를 설계하여 화이트박스, GRAY-BOX, 블랙박스 시나리오를 모두 고려한다.
• 방어된 이미지가 원본과 시각적으로 구별되지 않도록 하면서도 역인전 성능을 떨어뜨리는 것을 확보한다.

제안 방법

• UnGANable는 시각적 정밀도를 유지하면서도 GAN 역인전을 오도하는 영역에서의 변형을 이미지 공간에서 탐색함으로써 클로킹 이미지를 생성한다.
• 방어자 지식에 기반해 다섯 가지의 구체적 클로킹 전략을 설계하며, 이는 최적화 기반 역인전 두 가지와 하이브리드 역인전 세 가지에 대응한다.
• 완전한 지식(화이트박스)에서 지식 없음(블랙박스)에 이르기까지 다섯 가지 시나리오에 맞게 클로킹을 맞춤형으로 조정함으로써 적응형 방어 설계를 가능하게 한다.
• 강건성 평가를 위해 최적화 기반 및 하이브리드 GAN 역인전 기법을 모두 위협 모델로 활용한다.
• 시스템은 두 가지 벤치마크 얼굴 데이터셋(FFHQ, CelebA)에 훈련된 네 가지 유명한 GAN 모델(예: StyleGAN2, StarGANv2)에서 방어 성능을 평가한다.
• 스페이셜 스무딩 및 증가된 역인전 반복 횟수를 포함한 네 가지 적응형 공격 전략을 활용한 적대적 평가를 통해 내구성을 시험한다.

실험 결과

연구 질문

• RQ1 시각적 품질에 영향을 주지 않으면서도 GAN 역인전 성능을 떨어뜨리는 클로킹 이미지를 생성할 수 있는가?
• RQ2 방어자 지식(화이트박스, GRAY-BOX, 블랙박스)이 클로킹 방어의 설계 및 효과성에 어떤 영향을 미치는가?
• RQ3 UnGANable은 Fawkes 및 표준 이미지 왜곡 방법과 비교해 역인전 방해 능력과 유틸리티 면에서 어떻게 다른가?
• RQ4 스페이셜 스무딩 또는 증가된 역인전 반복 횟수와 같은 기법을 사용해 적응형 공격자가 UnGANable을 얼마나 효과적으로 우회할 수 있는가?
• RQ5 다양한 GAN 아키텍처와 복잡도가 다른 데이터셋 간에도 이 방어 체계는 효과가 있는가?

주요 결과

• UnGANable은 FFHQ 및 CelebA 데이터셋에서 네 종류의 GAN 모델(StyleGAN2, StarGANv2 등)에 대해 일관된 효과성으로 GAN 역인전 성능을 크게 떨어뜨린다.
• 역인전 방해 능력과 시각적 유틸리티 면에서 13개의 기준 이미지 왜곡 방법 및 Fawkes를 모두 능가하며, 특히 하이브리드 역인전 환경에서 두드러진 성능을 보인다.
• Cloak v0/v2/v3(화이트박스 및 GRAY-BOX 변종)는 Cloak v1/v4(블랙박스)보다 더 뛰어난 성능을 기록함으로써, 방어자 지식 수준이 높을수록 방어 효과성이 향상됨을 시사한다.
• 스페이셜 스무딩 및 증가된 역인전 반복 횟수는 유일하게 UnGANable을 우회하는 데 약간의 성공을 거둔 적응형 공격이었으며, 이는 강력한 내구성을 시사한다.
• GAN 인코더 재학습이 UnGANable의 효과성에 크게 영향을 주지 않음으로써, 인코더 향상은 적대자에게 유의미한 적응 전략이 되지 못한다는 것을 의미한다.