[논문 리뷰] One Parameter Defense -- Defending against Data Inference Attacks via Differential Privacy

Dayong Ye, Sheng Shen외 3명|arXiv (Cornell University)|2022. 03. 13.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 단일 비밀유지 예산 파라미터를 사용하여 신뢰도 점수 벡터를 흐리게 하여, 시간 효율적이고 차별적 보호를 제공하는 방식으로, 멤버십 추론 공격과 모델 역전공격 양쪽을 동시에 방어하는 기법을 제안한다. 이 방법은 점수 순서를 유지함으로써 분류 정확도를 유지하면서도, 지수 기반 노이즈 주입을 통해 멤버십 및 재구성 정보를 은폐한다.

ABSTRACT

Machine learning models are vulnerable to data inference attacks, such as membership inference and model inversion attacks. In these types of breaches, an adversary attempts to infer a data record's membership in a dataset or even reconstruct this data record using a confidence score vector predicted by the target model. However, most existing defense methods only protect against membership inference attacks. Methods that can combat both types of attacks require a new model to be trained, which may not be time-efficient. In this paper, we propose a differentially private defense method that handles both types of attacks in a time-efficient manner by tuning only one parameter, the privacy budget. The central idea is to modify and normalize the confidence score vectors with a differential privacy mechanism which preserves privacy and obscures membership and reconstructed data. Moreover, this method can guarantee the order of scores in the vector to avoid any loss in classification accuracy. The experimental results show the method to be an effective and timely defense against both membership inference and model inversion attacks with no reduction in accuracy.

연구 동기 및 목표

• 기계학습 분야에서 증가하는 데이터 유추 공격 위협, 특히 신뢰도 점수 벡터를 악용하는 공격에 대응하기 위해.
• 기존 방법이 실패하는 바와 같이, 멤버십 추론 공격과 모델 역전공격을 동시에 방어할 수 있는 방어 기법을 개발하기 위해.
• 기존 접근 방식과 달리 타겟 모델을 재훈련할 필요 없이 시간 효율적인 솔루션을 제공하기 위해.
• 단일 조정 가능한 파rameter인 비밀유지 예산 ε를 통해 정확도를 유지하면서도 프라이버시를 극대화하기 위해.
• 특히 재훈련이 불가능한 실세계 응용 분야에서 실용적이고 구현 가능한, 이미 훈련된 모델을 대상으로 하는 방어 기법을 제공하기 위해.

제안 방법

• 지수 기반 메커니즘을 사용하여, 차별적 보호를 적용해 신뢰도 점수 벡터를 흐리게 하고 정규화한다.
• 흐리게 하는 수준을 제어하기 위해 오직 하나의 파rameter인 비밀유지 예산 ε만 조정되며, 이는 단순하면서도 효과적인 방어 기법을 가능하게 한다.
• 흐리게 하는 과정에서 점수의 상대적 순서가 유지되어 분류 정확도가 유지된다.
• 추론 후에 적용되기 때문에, 재훈련 없이도 이미 배포된 모델과 호환된다.
• 지수 기반 메커니즘은 더 이상 구분하기 어려운 점수 벡터에 더 높은 확률을 할당하여 공격 성공률을 낮춘다.
• 신뢰도 점수에서 구분 가능한 특징을 제거함으로써, 멤버십 정보와 데이터 재구성 정보를 모두 은폐하도록 설계되었다.

실험 결과

연구 질문

• RQ1 단일 파rameter 기반의 방어 기법이 멤버십 추론 공격과 모델 역전공격 양쪽을 효과적으로 방어할 수 있는가?
• RQ2 비밀유지 예산 ε가 점수 흐림 처리에서 프라이버시와 유효성의 상호 간 균형에 어떤 영향을 미치는가?
• RQ3 공격 성공률을 크게 낮추면서도 높은 분류 정확도를 유지할 수 있는가?
• RQ4 재훈련 없이도 이미 배포된 모델에 적용 가능한가?
• RQ5 기존의 방어 기법과 비교했을 때, 프라이버시-유효성 균형과 계산 오버헤드 측면에서 어떻게 성능을 내는가?

주요 결과

• MNIST, Fashion-MNIST, CIFAR-10 데이터셋에서 비밀유지 예산 ε에 관계없이 분류 정확도가 100% 유지된다.
• 멤버십 추론 공격 정확도는 ε가 증가함에 따라 뚜렷하게 감소하여, 이 공격 유형에 대한 강력한 보호 효과를 입증한다.
• 모델 역전공격 결과에 따르면, ε가 작아질수록 재구성된 이미지가 점점 흐릿해지며, 민감한 데이터의 은폐 효과가 뚜렷하다.
• ε가 증가할수록 점수 왜곡이 감소하며, 이는 멤버십 추론 정확도와 상관관계가 있음을 확인하여, 비밀유지 예산 조정의 민감도를 입증한다.
• 다양한 ε 값에서의 역전이 오차는 비교적 안정되어 있어, 공격 모델의 성능이 방어 기법의 흐림 수준에 크게 영향을 받지 않음을 시사한다.
• 특히 시간 제약이 있거나, 배포 후 방어가 필요한 상황에서, 정확도 유지와 강력한 프라이버시 보장을 동시에 제공함으로써, 기존의 방어 기법을 능가한다.