[논문 리뷰] Generative Model: Membership Attack,Generalization and Diversity

Kin Sum Liu, Bo Li외 1명|arXiv (Cornell University)|2018. 05. 24.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 18

한 줄 요약

이 논문은 VAE 및 GAN과 같은 딥 생성 모델의 훈련 데이터에 n개의 인스턴스가 포함되었는지 여부를 판단하기 위한 새로운 방법인 공소속 공격(co-membership attacks)을 소개한다. 공격자 네트워크를 최적화하여 입력 인스턴스를 재구성하고 재구성 오차를 측정함으로써, 이 방법은 이전의 공격들보다 뛰어난 성능을 보이며, VAE는 GAN보다 더 높은 취약성을 보인다.

ABSTRACT

In this paper we propose a new membership attack method called co-membership attacks against deep generative models including Variational Autoencoders (VAEs) and Generative Adversarial Networks (GANs). Specifically, membership attack aims to check whether a given instance x was used in the training data or not. A co-membership attack checks whether the given bundle of n instances were in the training, with the prior knowledge that the bundle was either entirely used in the training or none at all. Successful membership attacks can compromise the privacy of training data when the generative model is published. Our main idea is to cast membership inference of target data x as the optimization of another neural network (called the attacker network) to search for the latent encoding to reproduce x. The final reconstruction error is used directly to conclude whether x was in the training data or not. We conduct extensive experiments on a variety of datasets and generative models showing that: our attacker network outperforms prior membership attacks; co-membership attacks can be substantially more powerful than single attacks; and VAEs are more susceptible to membership attacks compared to GANs.

연구 동기 및 목표

• 공개된 후 딥 생성 모델에 대한 소속 추론 공격으로 인한 개인정보 위험을 해결하기 위해.
• 공소속 쿼리(여러 인스턴스의 묶음)를 통해 그룹 수준의 정보를 활용하여 기존의 소속 공격 방법을 개선하기 위해.
• 소속 추론 공격 하에서 VAE 및 GAN의 일반화와 개인정보 보호 간의 상충 관계를 조사하기 위해.
• 잠재 공간 최적화를 활용한 재구성 기반 공격의 효과성을 평가하기 위해.

제안 방법

• 공격자 네트워크가 잠재 코드에서 입력 인스턴스를 재구성하도록 학습하는 방식으로 소속 추론을 최적화 문제로 공식화한다.
• 공격자 네트워크의 재구성 오차를 사용하여 훈련 데이터에 소속되었는지 여부를 결정하는 기준으로 삼는다.
• n개의 인스턴스가 모두 훈련 데이터에 포함되었는지 여부를 평가하는 공소속 공격를 도입하며, 묶음 수준의 소속 정보를 사전 지식으로 활용한다.
• 목표 생성 모델과 동일한 아키텍처를 사용하여, 타겟 인스턴스의 재구성 손실을 최소화하도록 공격자 네트워크를 엔드 투 엔드로 훈련한다.
• 성능과 일반화 능력을 평가하기 위해 다양한 데이터셋에서 VAE 및 GAN에 이 방법을 적용한다.
• 검증 데이터로부터 유도된 재구성 오차 임계값을 사용하여 공격 성공률을 비교한다.

실험 결과

연구 질문

• RQ1 공소속 공격는 단일 인스턴스 공격에 비해 소속 추론 정확도를 크게 향상시킬 수 있는가?
• RQ2 공격자 네트워크의 재구성 오차는 실제 훈련 데이터 소속 여부와 어떻게 관련이 있는가?
• RQ3 VAE는 그 생성 메커니즘 때문에 GAN보다 소속 공격에 더 취약한가?
• RQ4 데이터의 그룹 수준의 구조가 공격 성능 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 공소속 공격 방법은 VAE 및 GAN 모두에서 기존의 단일 인스턴스 공격보다 높은 소속 추론 정확도를 달성한다.
• 공소속 공격는 특히 묶음 크기가 중간에서 큰 경우 단일 인스턴스 공격보다 뚜렷이 뛰어나다.
• VAE는 훈련 샘플에 대해 더 낮은 재구성 오차를 보이며, GAN보다 소속 공격에 더 취약하다.
• 공격자 네트워크의 재구성 오차는 훈련 및 비훈련 인스턴스 간에 명확한 분리가 이루어지므로 소속 여부를 신뢰할 수 있는 지표로 기능한다.