[논문 리뷰] Data Poisoning against Differentially-Private Learners: Attacks and Defenses

Yuzhe Ma, Xiaojin Zhu외 1명|arXiv (Cornell University)|2019. 03. 23.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 27

한 줄 요약

이 논문은 비밀리에 개인 정보를 보호하는 기계 학습 모델에 대한 데이터 풀링 공격을 조사하며, 적은 수의 데이터 포인트가 손상될 경우 차등적 비밀유지가 공격에 대한 증명 가능한 저항력을 제공하지만, 훈련 데이터의 더 큰 비율을 손상시키는 공격자들은 여전히 성공할 수 있음을 보여준다. 저자들은 목적 함수 편향 및 출력 편향 학습자에 대상으로 효과적인 공격 알고리즘을 설계하여, 비밀유지 보장을 갖추고 있음에도 불구하고 모델의 편향이 악성 목표에서 벗어나지 않도록 공격이 실제로 효과적임을 실험적으로 입증한다.

ABSTRACT

Data poisoning attacks aim to manipulate the model produced by a learning algorithm by adversarially modifying the training set. We consider differential privacy as a defensive measure against this type of attack. We show that such learners are resistant to data poisoning attacks when the adversary is only able to poison a small number of items. However, this protection degrades as the adversary poisons more data. To illustrate, we design attack algorithms targeting objective and output perturbation learners, two standard approaches to differentially-private machine learning. Experiments show that our methods are effective when the attacker is allowed to poison sufficiently many training items.

연구 동기 및 목표

• 차등적 비밀유지가 기계 학습에서 데이터 풀링 공격에 효과적으로 대비할 수 있는지 조사하는 것.
• 특히 손상된 샘플 수가 증가함에 따라 보호 수준이 어떻게 약화되는지, 차등적 비밀유지 하에서 데이터 풀링의 이론적 한계를 분석하는 것.
• 목적 함수 편향 및 출력 편향이라는 두 가지 표준 차등적 비밀유지 학습 메커니즘을 대상으로 실용적인 공격 알고리즘을 개발하는 것.
• 합성 및 실제 데이터 세트에서 공격의 효과를 실증적으로 평가하여, 비밀유지 수준과 학습 알고리즘 간 성능을 비교하는 것.
• 이론적 공격 성공의 하한과 실제 공격 성능 간 격차를 규명하고,未래 연구 방향을 제안하는 것.

제안 방법

• 위협 모델을 정형화: 공격자가 훈련 데이터와 모델에 대한 완전한 지식을 갖고 있으며, 최대 k개의 훈련 항목을 수정할 수 있으며, 목표 모델에서의 기대 비용을 최소화하는 것을 목표로 한다.
• 스토하스틱 경사 하강법 기반의 공격 알고리즘을 제안하여, 차등적 비밀유지 학습자의 스토하스틱 출력을 고려한 기대 비용 함수를 최소화하는 효과적인 풀링 예제를 탐색한다.
• 목적 함수 편향(손실 함수에 노이즈를 삽입) 및 출력 편향(최종 모델 파라미터에 노이즈를 추가)이라는 두 유형의 차등적 비밀유지 학습자에 대해 공격를 구현한다.
• 특정 공격 목표에 맞게 비용 함수를 정의하며, 예를 들어 분류 오류를 유도하기 위해 교차 엔트로피 손실을 최소화하거나, 회귀 목표 이탈을 유도하기 위해 평균 제곱 오차를 최소화한다.
• 최적화의 유한성과 안정성을 확보하기 위해 정규화된 특징 및 레이블 공간을 사용하고, 비밀유지 파라미터(ε, λ)를 통해 차등적 비밀유지 수준을 제어한다.
• 실제 데이터 세트(예: 위스콘신 유방암, 레드와인 품질)에서 다양한 비밀유지 예산(ε)과 풀링 예산(k) 조건 하에서 공격를 평가하며, 공격 비용의 감소를 측정한다.

실험 결과

연구 질문

• RQ1 차등적 비밀유지 학습자에 대한 데이터 풀링 공격의 효과성이 손상된 훈련 샘플 수가 증가함에 따라 어떻게 변화하는가?
• RQ2 실제 공격 성능와 이론적 공격 성공 하한 간 일치 정도는 어느 정도인가?
• RQ3 비밀유지 예산(ε)을 약화시킬 경우(ε를 증가시킬 경우) 데이터 풀링 공격의 성공률에 어떤 영향을 미치는가?
• RQ4 동일한 공격 조건에서 목적 함수 편향 및 출력 편향 학습자는 동일한 정도로 풀링 공격에 취약한가?
• RQ5 이론적 하한과 실제 실험 결과 간 관찰된 격차를 초래하는 요소는 무엇인가?

주요 결과

• 차등적 비밀유지 학습자는 소수의 훈련 항목만 손상된 경우 증명 가능한 저항력을 보이지만, 손상된 항목 수가 증가함에 따라 이 저항력이 지수적으로 약화된다.
• 제안된 공격 알고리즘은 여러 데이터 세트에서 목적 함수 편향 및 출력 편향 학습자 모두에서 기대 비용 함수를 목표 기준 이하로 낮추는 데 성공했으며, 예를 들어 분류 오류 유도 시 0.69 이하로 낮추었다.
• 레드와인 품질 데이터 세트에서는 단지 6.3%(1598개 중 100개)의 데이터만 손상되었음에도 불구하고 공격가 비용을 목표 기준 이하로 낮추었다.
• 비밀유지 예산 ε가 증가할수록 공격 비용이 감소하며, 이는 이론적 하한에 가까워지며, 이는 약한 비밀유지 보장을 제공할수록 공격이 더 효과적임을 시사한다.
• 평가된 네 가지 공격 방법 중 Deep-DPV가 가장 효과적이었지만, 실증적 공격 성능과 이론적 하한 간 여전히 큰 격차가 존재했다.
• 이론과 실무 간 격차는 이론적 하한이 느슨하거나 공격가 더 최적화될 수 있음을 시사하며,未래 연구를 위한 열린 문제로 남아 있다.