[논문 리뷰] How Does Data Augmentation Affect Privacy in Machine Learning?

Dahua Yu, Huishuai Zhang외 3명|arXiv (Cornell University)|2020. 07. 21.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 데이터 증강이 기계 학습 모델에서 프라이버시 위험을 감소시킨다는 가정을 도전하며, 증강된 데이터로 훈련된 모델을 대상으로 한 멤버십 인식(MI) 공격이 훨씬 더 효과적일 수 있음을 보여준다. 저자들은 증강된 데이터 인스턴스를 집합으로 간주하는 새로운 집합 분류 접근법을 제안하며, 순열 불변 특징과 임계값 기반 또는 신경망 분류기들을 사용하여 CIFAR-10에서 70.1%의 MI 성공률를 달성한다—이는 증강 없이 훈련된 모델에 대해서조차도 이전 최고 성능을 뛰어넘는다.

ABSTRACT

It is observed in the literature that data augmentation can significantly mitigate membership inference (MI) attack. However, in this work, we challenge this observation by proposing new MI attacks to utilize the information of augmented data. MI attack is widely used to measure the model's information leakage of the training set. We establish the optimal membership inference when the model is trained with augmented data, which inspires us to formulate the MI attack as a set classification problem, i.e., classifying a set of augmented instances instead of a single data point, and design input permutation invariant features. Empirically, we demonstrate that the proposed approach universally outperforms original methods when the model is trained with data augmentation. Even further, we show that the proposed approach can achieve higher MI attack success rates on models trained with some data augmentation than the existing methods on models trained without data augmentation. Notably, we achieve a 70.1% MI attack success rate on CIFAR10 against a wide residual network while the previous best approach only attains 61.9%. This suggests the privacy risk of models trained with data augmentation could be largely underestimated.

연구 동기 및 목표

• 기계 학습 모델에서 데이터 증강이 멤버십 인식(MI) 공격를 완화한다는 널리 퍼진 믿음을 재평가하기 위해.
• 베이지안 관점에서 데이터 증강 하에서 최적의 멤버십 인식을 수식화하여, 개별 샘플이 아닌 증강된 인스턴스의 집합을 사용해야 한다는 것을 보여주기 위해.
• 데이터 증강을 통해 훈련된 모델에 대해 기존 방법보다 뛰어난 성능을 보이는 실용적인 MI 공격 알고리즘을 설계하기 위해.
• 데이터 증강을 통해 훈련된 모델이 증강 없이 훈련된 모델보다 MI 공격에 더 취약할 수 있음을 경험적으로 입증하기 위해.
• 그룹 차별적 프라이버시를 사용하여 MI 성공률의 이론적 경계를 제시하여, 증가된 증강으로 인해 프라이버시 보장이 향상되지 않는다는 것을 보여주기 위해.

제안 방법

• 주어진 데이터 포인트의 증강된 버전들로부터의 손실 값 집합을 입력으로 받는 집합 분류 문제로 멤버십 인식을 공식화한다.
• 이론적으로 최적의 인식에 영감을 얻어, 증강된 인스턴스들 간의 평균 손실을 결정 통계로 사용하는 임계값 기반 방법을 제안한다.
• 입력의 순서에 관계없이 동일한 결과를 내기 위해 순열 불변 특징을 갖는 신경망 분류기를 설계하여 증강된 손실 값 집합을 처리한다.
• 베이지안 사후 확률과 그룹 차별적 프라이버시를 사용하여 최적의 멤버십 인식에 대한 이론적 경계를 유도한다.
• k개의 증강된 버전이 존재할 때 $\frac{\epsilon}{k}$-차별적 프라이버시 하에서 멤버십 인식 성공률의 상한선이 변하지 않음을 입증하여, 이전에 증강으로 인해 프라이버시가 향상된다는 가정과 모순된다.
• 이전 연구(Sablayrolles 등, 2019)에서 손실 값이 로짓보다 MI 공격에 더 효과적임이 입증되었기 때문에, 손실 값들을 주요 입력 신호로 사용한다.

실험 결과

연구 질문

• RQ1 데이터 증강은 진정으로 멤버십 인식 공격의 위험을 감소시키는가, 아니면 새로운 공격 표면을 제공함으로써 오히려 위험을 증가시키는가?
• RQ2 모델이 증강된 데이터로 훈련되었을 때 최적의 멤버십 인식 전략은 무엇이며, 단일 인스턴스 인식과 어떻게 다를까?
• RQ3 집합 기반 멤버십 인식 접근법이 증강된 데이터로 훈련된 모델에 대해 기존 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 그룹 차별적 프라이버시는 데이터 증강이 존재할 때 멤버십 인식 성공률의 이론적 상한선과 어떻게 관련이 있는가?
• RQ5 증강된 데이터로 훈련된 모델에 대한 멤버십 인식 성공률이 증강 없이 훈련된 모델의 성공률을 초월할 수 있는가?

주요 결과

• 제안된 집합 기반 멤버십 인식 공격는 CIFAR-10에서 95% 이상의 테스트 정확도를 기록한 워드 레지드 네트워크에 대해 70.1%의 성공률를 달성하며, 이는 이전 최고 성능인 61.9%를 크게 뛰어넘는다.
• 새로운 공격 방법들은 증강된 데이터로 훈련된 모델에 적용되었을 때 기존의 MI 알고리즘을 항상 뛰어넘는다.
• 증강 없이 훈련된 모델에 대해서조차도, 제안된 방법이 증강된 데이터로 훈련된 모델에 적용되었을 때 성능이 뛰어나므로, 데이터 증강이 이전에 생각했던 것처럼 프라이버시 위험을 감소시키지 못할 수 있음을 시사한다.
• 이론적 분석 결과, $k$개의 증강이 존재할 때 $\frac{\epsilon}{k}$-차별적 프라이버시 하에서 멤버십 인식 성공률의 상한선은 $\sigma(\epsilon + \log(q/(1-q)))$ 그대로 유지되며, 증강 수 $k$의 증가와 관계없이 동일하다. 이는 이전에 증강으로 인해 프라이버시가 향상된다는 가정과 정면으로 배치된다.
• 신경망 분류기에서 순열 불변 특징의 사용은 성능에 결정적인 영향을 미치며, 이는 증강된 인스턴스의 순서에 대해 강건성을 보장하기 때문이다.
• 이 연구는 데이터 증강이 프라이버시 누출을 악화시킬 수 있으며, 이는 현재의 프라이버시 평가 관행이 본질적으로 잘못되었을 수 있음을 드러낸다.