[논문 리뷰] Invert and Defend: Model-based Approximate Inversion of Generative Adversarial Networks for Secure Inference

Wei-An Lin, Yogesh Balaji외 2명|arXiv (Cornell University)|2019. 11. 23.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 8

한 줄 요약

이 논문은 사전에 훈련된 GAN 생성기의 역을 약간의 근사로 수행하기 위해 훈련 데이터에 접근할 수 없는 모델 기반의 데이터 프리 인버션 방법인 InvGAN을 제안한다. 이 방법은 생성된 이미지를 잠재 공간으로 다시 매핑하기 위해 인코더 네트워크를 훈련시킨다. 제안된 방법은 뛰어난 역인버션 품질을 달성하며, DefenseGAN 기반의 적대적 방어를 가속화하고 효과적인 재매개변수화 백색 상자 공격을 가능하게 하여 이전 방법들에 비해 강건성과 런타임 효율성에서 뚜렷한 향상을 이룬다.

ABSTRACT

Inferring the latent variable generating a given test sample is a challenging problem in Generative Adversarial Networks (GANs). In this paper, we propose InvGAN - a novel framework for solving the inference problem in GANs, which involves training an encoder network capable of inverting a pre-trained generator network without access to any training data. Under mild assumptions, we theoretically show that using InvGAN, we can approximately invert the generations of any latent code of a trained GAN model. Furthermore, we empirically demonstrate the superiority of our inference scheme by quantitative and qualitative comparisons with other methods that perform a similar task. We also show the effectiveness of our framework in the problem of adversarial defenses where InvGAN can successfully be used as a projection-based defense mechanism. Additionally, we show how InvGAN can be used to implement reparameterization white-box attacks on projection-based defense mechanisms. Experimental validation on several benchmark datasets demonstrate the efficacy of our method in achieving improved performance on several white-box and black-box attacks. Our code is available at https://github.com/yogeshbalaji/InvGAN.

연구 동기 및 목표

• 훈련 데이터에 접근할 수 없음에도 불구하고 GAN으로 생성된 이미지를 잠재 코드로 역으로 복원하는 데 어려운 문제를 해결하기 위해.
• DefenceGAN과 같은 최적화 기반의 적대적 방어의 효율성과 성능을 향상시키기 위해, 느린 최적화를 학습된 인코더로 대체함으로써.
• 재매개변수화 기법을 사용하여 최적화 기반 방어에 대해 효과적인 백색 상자 공격을 가능하게 하기 위해.
• 역인버션 프레임워크가 방어의 강건성과 공격 탐지 능력을 모두 향상시킨다는 것을 입증하기 위해.
• 다양한 데이터셋과 GAN 아키텍처에 적용 가능한 확장성 있고 빠르며 정확한 역인버션 메커니즘을 제공하기 위해.

제안 방법

• 재구성, 지각적, 적대적 요소를 조합한 새로운 손실 함수를 사용하여 생성기의 출력 공간에서의 이미지를 잠재 공간으로 다시 매핑하기 위해 인코더 네트워크를 훈련시킨다.
• DefenceGAN의 최적화를 초기화하기 위해 인코더를 사용하여 반복 횟수를 줄이고 하이퍼파rameter 튜닝이 필요 없도록 한다.
• 인코더가 효율적인 다양체 투영을 위한 사전 정보로 작용하도록, 역인버션을 미분 가능 최적화 문제로 공식화한다.
• 학습된 인코더를 통해 투영 연산을 근사함으로써 재매개변수화 공격을 구현하여 기울기 기반의 공격 제작을 가능하게 한다.
• 역인버션된 이미지가 원본 GAN 생성물과 의미적으로 일치하고 GAN의 데이터 분포를 따르도록, 인코더를 최적화하는 데 손실 함수를 사용한다.
• 성능 검증을 위해 MNIST, Fashion-MNIST, CIFAR-10, CelebA를 포함한 벤치마크 데이터셋에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 원래의 훈련 데이터에 접근할 수 없음에도 불구하고 데이터 프리, 모델 기반의 인코더를 훈련시켜 사전에 훈련된 GAN 생성기를 정확하게 역인버션할 수 있는가?
• RQ2 DefenceGAN과 같은 최적화 기반 방법에 비해 InvGAN은 최적화 기반의 적대적 방어의 속도와 정확도를 어떻게 향상시키는가?
• RQ3 적대적 편향이 존재할 경우 InvGAN은 공격 탐지 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 InvGAN을 사용하여 최적화 기반 방어에 대해 효과적인 재매개변수화 백색 상자 공격을 구현할 수 있는가?
• RQ5 인코더 훈련 목표 함수에 포함된 적대적 손실은 역인버션 품질과 후속 방어 성능에 어떤 영향을 미치는가?

주요 결과

• 청정 조건에서 MNIST에 대해 InvGAN은 0.99의 테스트 정확도를 달성하여 DefenseGAN(0.98)과 No Defense(0.99)를 초월하며, FGSM 및 CW 공격에 대한 강건성에서 뚜렷한 향상을 보였다.
• Fashion-MNIST에서 InvGAN은 FGSM 공격(ε=0.3) 조건에서 0.88의 정확도를 기록했고, DefenseGAN의 0.34보다 뛰어나 강력한 방어 성능을 입증했다.
• CIFAR-10에서는 InvGAN이 FGSM 공격(ε=0.3) 조건에서 0.66의 정확도를 기록했고, DefenseGAN의 0.44보다 뚜렷이 높아 복잡한 데이터셋에서의 강건성이 뛰어나다는 것을 보여주었다.
• InvGAN은 MNIST FGSM 공격에서 공격 탐지 AUC를 0.9985로 향상시켰고, DefenseGAN의 0.9878보다 높아 큰 편향 공격의 탐지 가능성 향상을 입증했다.
• 인코더를 초기화로 사용함으로써 효과적인 추론 반복 수를 1로 줄여 DefenseGAN에 비해 뚜렷한 속도 향상을 이뤘고, 재구성 품질을 유지하거나 향상시켰다.
• 제거 실험 결과, 적대적 손실을 제거하면 FID가 28.07에서 19.85로 감소하고 정확도도 0.603에서 0.625로 상승함으로써, 지각적 현실감과 성능 향상에 있어 적대적 손실의 중요성을 확인했다.