[논문 리뷰] Variational Model Inversion Attacks

Kuan-Chieh Wang, Yan Fu외 4명|arXiv (Cornell University)|2022. 01. 26.

Adversarial Robustness in Machine Learning인용 수 32

한 줄 요약

논문은 모델 인버전 공격을 변분 추론으로 프레이밍하고, 공통 제너레이터로 구현된 변분 목적함수를 도입하여 현실적이고 다양한 공격 이미지를 생성하고, 이전 방법들보다 목표 정확도와 현실감을 향상시킨다.

ABSTRACT

Given the ubiquity of deep neural networks, it is important that these models do not reveal information about sensitive data that they have been trained on. In model inversion attacks, a malicious user attempts to recover the private dataset used to train a supervised neural network. A successful model inversion attack should generate realistic and diverse samples that accurately describe each of the classes in the private dataset. In this work, we provide a probabilistic interpretation of model inversion attacks, and formulate a variational objective that accounts for both diversity and accuracy. In order to optimize this variational objective, we choose a variational family defined in the code space of a deep generative model, trained on a public auxiliary dataset that shares some structural similarity with the target dataset. Empirically, our method substantially improves performance in terms of target attack accuracy, sample realism, and diversity on datasets of faces and chest X-ray images.

연구 동기 및 목표

• 타깃 분류기 p_tar(y|x)로부터 데이터 생성 분포 p_tar(x|y)를 회복하기 위한 확률적이고 변분 프레임워크를 제공한다.
• 공개 보조 데이터세트를 활용하여 샘플을 현실적 매니폴드로 제한하면서 다양성을 허용하는 공통 제너레이터를 학습한다.
• 조정 가능한 파라미터 gamma를 통해 정확도와 다양성의 균형을 맞추는 파워-포스터리어 objective를 도입한다.
• 공통 제너레이터를 갖는 변분 목적함수가 이미지 및 의학 데이터세트에서 이전 MI 방법들보다 더 현실적이고 다양한 샘플과 더 높은 타깃 정확도를 산출함을 입증한다.

제안 방법

• 보조 사전분포와 함께 목표 후방으로의 KL 발산을 최소화하는 변분 추론 문제로 MI를 형식화한다.
• 공개 보조 데이터세트를 사용하여 GAN으로 생성된 모델 G(z)를 통해 보조 이미지 사전 p_aux(x)를 학습한다.
• 변분 군집 q(x)가 공통 제너레이터에 의해 정의된 매니폴드 위에 놓이도록 제약하며, 즉 q(x)=E_{q(z)}[p_g(x|z)].
• L_vmi^gamma(q)=E_{z~q(z)}[-log p_tar(y|G(z))]+gamma KL(q(z)||p_aux(z))라는 파워-포스터리어 목적함수를 도입한다.
• StyleGAN 기반 생성의 경우 확장된 w-공간에서 최적화하고 계층별 흐름 기반의 변분 가족 q(z_l)를 사용하여 계층 간 다양성을 포착한다.

실험 결과

연구 질문

• RQ1 모델 인버전 공격을 변분 추론 문제로 재구성하고 원칙에 입각한 목적함수로 해결할 수 있는가?
• RQ2 공개 데이터로 학습된 공통 제너레이터가 얼굴 및 의학 이미지처럼 고차원 대상에 대해 현실적이고 다양한 역전 샘플을 가능하게 하는가?
• RQ3 파워-포스터리어에서 gamma를 조정하면 공격 샘플의 정확도-다양성 트레이드오프에 어떤 영향을 미치는가?
• RQ4 확장된 StyleGAN 잠재 공간에서의 최적화가 DCGAN 또는 픽셀 공간 방법과 비교했을 때 공격의 현실성과 타깃 정확도를 향상시키는가?
• RQ5 VI 기반 공격은 여러 데이터세트에 걸쳐 타깃 정확도, 현실성(FID), 다양성 측면에서 기존 MI 방법과 어떻게 비교되는가?

주요 결과

방법	정확도 (MNIST)	정확도 (CelebA)	정확도 (CXR)	FID (MNIST)	FID (CelebA)	FID (CXR)
General MI	0 ± 0.00	0 ± 0.00	0.23 ± 0.29	376.7 (57.4)	421.21 (31.3)	499.54 (96.3)
Generative MI	0.92 ± 0.02	0.07 ± 0.02	0.28 ± 0.25	88.91 (57.4)	43.21 (31.3)	142.66 (96.3)
VMI w/ DCGAN	0.95 ± 0.02	0.37 ± 0.07	0.42 ± 0.28	77.73 (57.4)	40.89 (31.3)	265.14 (96.3)
VMI w/ StyleGAN	-	0.55 ± 0.06	0.69 ± 0.23	-	17.41 (19.2)	123.17 (57.0)

• 변분 목적함수는 MNIST, CelebA, ChestX-ray 전체에서 기준선보다 더 높은 타깃 정확도와 더 낮은 FID를 산출한다.
• z에 대한 흐름 기반 변분 가족을 사용하는 것이 가우시안 변형들보다 정확도를 향상시킨다.
• StyleGAN with the extended w-space and layer-wise variational optimization enhances both realism and diversity.
• gamma를 증가시키면 일반적으로 다양성과 현실성이 증가하지만 평균 정확도가 감소할 수 있어 제어 가능한 정확도-다양성 트레이드오프를 보여준다.
• VMI는 보고된 지표에서 세 가지 작업 모두에서 Generative MI 및 General MI 기준선보다 우수하다.