[논문 리뷰] Defending against Machine Learning based Inference Attacks via Adversarial Examples: Opportunities and Challenges

Jinyuan Jia, Neil Zhenqiang Gong|arXiv (Cornell University)|2019. 09. 17.

Adversarial Robustness in Machine Learning참고 문헌 86인용 수 7

한 줄 요약

이 논문은 공개 데이터를 악성 예측 예제로 오염시켜 공격자의 분류기가 무력화되도록 하는 방식으로 기계학습 기반 추론 공격에 대비하는 새로운 방어 기법을 제안한다. 정밀하게 설계된 노이즈를 공개 데이터에 주입하여 악성 예측 예제를 생성함으로써, 기계학습 분류기가 비공개 속성을 잘못 분류하는 취약점을 악용함으로써, 계산적으로 비현실적이거나 유틸리티를 저하시키는 기존의 개인정보 보호 기법들에 대한 실용적인 대안을 제공한다.

ABSTRACT

As machine learning (ML) becomes more and more powerful and easily accessible, attackers increasingly leverage ML to perform automated large-scale inference attacks in various domains. In such an ML-equipped inference attack, an attacker has access to some data (called public data) of an individual, a software, or a system; and the attacker uses an ML classifier to automatically infer their private data. Inference attacks pose severe privacy and security threats to individuals and systems. Inference attacks are successful because private data are statistically correlated with public data, and ML classifiers can capture such statistical correlations. In this chapter, we discuss the opportunities and challenges of defending against ML-equipped inference attacks via adversarial examples. Our key observation is that attackers rely on ML classifiers in inference attacks. The adversarial machine learning community has demonstrated that ML classifiers have various vulnerabilities. Therefore, we can turn the vulnerabilities of ML into defenses against inference attacks. For example, ML classifiers are vulnerable to adversarial examples, which add carefully crafted noise to normal examples such that an ML classifier makes predictions for the examples as we desire. To defend against inference attacks, we can add carefully crafted noise into the public data to turn them into adversarial examples, such that attackers' classifiers make incorrect predictions for the private data. However, existing methods to construct adversarial examples are insufficient because they did not consider the unique challenges and requirements for the crafted noise at defending against inference attacks. In this chapter, we take defending against inference attacks in online social networks as an example to illustrate the opportunities and challenges.

연구 동기 및 목표

• 온라인 소셜 네트워크 및 기타 시스템에서 사용자 프라이버시를 침해하는 증가하는 기계학습 기반 추론 공격의 위협을 해결한다.
• 게임 이론 기반 방법이나 차별적 프라이버시와 같은 기존 방어 기법의 한계를 극복한다. 이는 높은 계산 비용이나 유틸리티-프라이버시 트레이드오프 문제로 인해 어려움을 겪는다.
• 기계학습 분류기의 취약점을 보완 조치로 활용하여 악성 예측 예제를 새로운 방어 수단으로 탐색한다.
• 악성 노이즈를 사용하여 공격자의 추론 파이프라인을 방해하면서도 공개 데이터의 유틸리티를 유지하는 것의 가능성과 과제를 조사한다.

제안 방법

• 기계학습 분류기가 비공개 속성을 잘못 예측하도록 하기 위해, 공개 데이터에 악성 노이즈를 주입함으로써 분류기의 알려진 취약점을 악용한다.
• 악성 예측 예제 생성 기법을 사용하여 정상적인 공개 데이터를 공격자 모델 하에서 잘못 분류를 유도하는 악성 예측 예제로 변환한다.
• 다양한 모델 간의 악성 예측 예제의 이동성(transferability)을 활용하여 다양한 공격자 모델에 대한 방어의 강건성을 높인다.
• 집합 기반 또는 고노이즈 악성 예측 예제 생성을 통해 이동성과 강력한 분류기 대비 효과성을 향상시킨다.
• 가짜 사용자를 통해 데이터 풀링을 보완 전략으로 활용하여 공격자의 학습 데이터를 오염시킨다.
• 적응형 공격자 행동, 즉 노이즈 탐지 및 시빌 탐지 기능을 고려하여 실제 공격 시나리오에서 방어의 내구성을 평가한다.

실험 결과

연구 질문

• RQ1 공개 데이터에 악성 예측 예제를 주입하여 악성 노이즈로 오염시키는 방식으로 악성 예측 예제를 효과적으로 사용하여 추론 공격을 방어할 수 있는가?
• RQ2 악성 예측 예제의 이동성이 다양한 공격자 모델 간의 방어 성공률에 어떤 영향을 미치는가?
• RQ3 기존의 개인정보 보호 기법과 비교했을 때, 악성 노이즈를 사용할 경우 유틸리티 손실과 프라이버시 확보 간의 트레이드오프는 어떠한가?
• RQ4 악성 노이즈나 가짜 사용자를 탐지할 수 있는 적응형 공격자들이 존재할 경우, 악성 예측 예제 기반 방어 전략의 효과성은 어떻게 영향을 받는가?
• RQ5 강력한 분류기(예: 악성 훈련 또는 방어적 정제를 통해 훈련된 모델)는 추론 공격에 사용될 경우 여전히 악성 예측 예제에 속을 수 있는가?

주요 결과

• 기계학습 기반 추론 공격에 사용되는 표준 분류기들에 대해 악성 예측 예제 기반 방어가 효과적이며, 조작된 노이즈가 비공개 속성의 잘못된 분류를 유도할 수 있다.
• 악성 훈련 또는 방어적 정제를 통해 훈련된 강력한 분류기들을 사용하는 공격자에게도 이 방어 기법은 여전히 효과가 있다.
• 악성 예측 예제의 이동성은 핵심 요소이며, 집합 모델이나 노이즈 증가를 통해 이동성을 향상시키면 방어의 강건성이 향상된다.
• AttriGuard와 같은 기존 방어 기법은 낮은 랭크 근사 기법을 사용한 노이즈 탐지에 대비하여 여전히 효과적이며, 기본적인 탐지 방법에 대비한 내구성을 보여준다.
• 가짜 사용자를 통한 데이터 풀링은 공격자 학습 데이터를 방해할 수 있지만, 공격자는 시빌 탐지 기법을 통해 이러한 가짜를 식별하고 제거할 수 있다.
• 차별적 프라이버시나 게임 이론 기반 방어는 이론적으로 타당하지만, 높은 계산 비용이나 낮은 유틸리티-프라이버시 트레이드오프 문제로 인해 실용적이지 않으며, 악성 예측 예제 기반 방어 기법이 더 실용적인 대안이다.