[논문 리뷰] Pseudo Label-Guided Model Inversion Attack via Conditional Generative Adversarial Network

Xiaojian Yuan, Kejiang Chen외 4명|arXiv (Cornell University)|2023. 02. 20.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 허위 레이블 유도 모델 역행(PLG-MI)을 제안하며, 이는 조건부 GAN 기반의 새로운 공격으로, 상위 n개 선택 전략을 통해 추출한 허위 레이블을 이용해 잠재 공간을 클래스 기반으로 분리함으로써 기밀 데이터의 타겟 재구성을 가능하게 한다. 교차 엔트로피 손실 대신 최대 마진 손실을 도입함으로써 기울기 소실 문제를 완화하고, 이로 인해 최신 기준 공격 성공률을 달성하였으며, 이는 이전 방법 대비 최대 2.5배 높은 성능을 기록하였다. 특히 분포 이탈이 큰 상황에서도 뛰어난 성능을 보였다.

ABSTRACT

Model inversion (MI) attacks have raised increasing concerns about privacy, which can reconstruct training data from public models. Indeed, MI attacks can be formalized as an optimization problem that seeks private data in a certain space. Recent MI attacks leverage a generative adversarial network (GAN) as an image prior to narrow the search space, and can successfully reconstruct even the high-dimensional data (e.g., face images). However, these generative MI attacks do not fully exploit the potential capabilities of the target model, still leading to a vague and coupled search space, i.e., different classes of images are coupled in the search space. Besides, the widely used cross-entropy loss in these attacks suffers from gradient vanishing. To address these problems, we propose Pseudo Label-Guided MI (PLG-MI) attack via conditional GAN (cGAN). At first, a top-n selection strategy is proposed to provide pseudo-labels for public data, and use pseudo-labels to guide the training of the cGAN. In this way, the search space is decoupled for different classes of images. Then a max-margin loss is introduced to improve the search process on the subspace of a target class. Extensive experiments demonstrate that our PLG-MI attack significantly improves the attack success rate and visual quality for various datasets and models, notably, 2~3 $ imes$ better than state-of-the-art attacks under large distributional shifts. Our code is available at: https://github.com/LetheSec/PLG-MI-Attack.

연구 동기 및 목표

• 기존의 모델 역행 공격의 한계, 특히 클래스 결합된 잠재 공간과 최적화 과정에서의 기울기 소실 문제를 해결한다.
• 공개 데이터와 기밀 데이터의 분포가 크게 다를 때에도 고차원 데이터(예: 얼굴 이미지)에 대해 공격 성능을 향상시킨다.
• 다른 클래스의 잠재 공간을 분리하여 특징 혼동을 줄이고 재구성 정확도를 향상시킨다.
• 다양한 타겟 모델 아키텍처에 일반화 가능한 더 강력하고 효율적인 공격 프레임워크를 개발한다.
• 후기 최적화 단계에서 교차 엔트로피 손실의 비효율성을 극복하기 위해 작업에 특화된 최대 마진 손실을 도입한다.

제안 방법

• 공개 데이터에 대해 기밀 데이터와의 유사도를 기반으로 상위 n개 선택 전략을 도입하여 허위 레이블을 할당함으로써, GAN 학습 중에 클래스 기반 지침을 제공한다.
• 이러한 허위 레이블을 사용해 조건부 GAN(cGAN)을 학습시켜 독립적이고 클래스 기반의 이미지 사전 지식을 학습함으로써, 잠재 공간을 클래스 하위공간으로 분리한다.
• 잠재 벡터 탐색 단계에서 최대 마진 손실을 적용하여 생성기의 출력이 목표 클래스의 이미지가 되도록 명시적으로 제약을 걸어 최적화 안정성을 향상시킨다.
• 클래스 기반의 명시적 제약 조건을 도입하여 클래스 정보를 생성기의 잠재 공간에 직접 통합함으로써 클래스 간 간섭을 줄인다.
• 잠재 탐색 단계에서 데이터 증강을 통합하여 정확도와 시각적 품질을 향상시키며, 최적의 성능은 2개의 증강에서 달성된다.
• 공격를 두 단계로 분리한다: (1) 공개 데이터에 대해 허위 레이블을 사용한 cGAN 학습, (2) 목표 클래스 하위공간에 집중된 잠재 벡터 탐색.

실험 결과

연구 질문

• RQ1 공개 데이터에서 유도된 허위 레이블이 모델 역행 공격에서 잠재 공간의 특정성과 분리도를 향상시키는가?
• RQ2 교차 엔트로피 손실을 최대 마진 손실로 대체함으로써 기울기 소실 문제를 완화하고 최적화 수렴을 향상시킬 수 있는가?
• RQ3 한 모델 아키텍처에서 학습된 cGAN이 다른 타겟 모델 아키텍처로 일반화하여 공격에 성공할 수 있는가?
• RQ4 공개 데이터셋과 기밀 데이터셋 간의 큰 분포 이탈 상황에서 공격 성능가 어떻게 저하되며, PLG-MI는 높은 성공률을 유지할 수 있는가?
• RQ5 PLG-MI 프레임워크에서 상위 n 선택 크기 및 제약 강도와 같은 하이퍼파라미터의 최적 설정은 무엇인가?

주요 결과

• FFHQ를 공개 데이터로 사용할 때, VGG16에 대해 PLG-MI는 89%의 공격 정확도를 기록하였으며, 큰 분포 이탈 상황에서 KED-MI 대비 2.5배 높은 성능을 보였다.
• FaceScrub을 공개 데이터로 사용할 경우, PLG-MI는 평균적으로 KED-MI 대비 50% 높은 공격 정확도를 유지하여 분포 이탈에 대한 강건성을 입증하였다.
• FID 점수는 KED-MI 대비 약 3배 감소하여 재구성된 이미지의 시각적 품질 향상이 뚜렷하게 나타났다.
• Face.evoLVe와 ResNet-152 양쪽 모두에서 95% 이상의 공격 정확도를 달성하여 평가된 모든 모델에서 최신 기준 기반 방법들을 능가하는 성능을 보였다.
• VGG16에서 cGAN을 학습하고 ResNet-152를 공격할 경우, PLG-MI는 81%의 공격 정확도를 기록한 반면 KED-MI는 단지 12%에 머물러 아키텍처 간 일반화 능력이 뛰어나다는 것을 입증하였다.
• 절단 실험 결과, 최대 마진 손실과 데이터 증강(2개)이 가장 효과적임을 확인하였으며, 2개를 초과하면 성능이 정체됨을 알 수 있었다.