[논문 리뷰] On the Connection between Differential Privacy and Adversarial Robustness in Machine Learning

Mathias Lécuyer, Vaggelis Atlidakis외 3명|arXiv (Cornell University)|2018. 02. 09.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 14

한 줄 요약

이 논문은 딥 뉴럴 네트워크에서 적대적 예제에 대한 강건성에 대한 공식적이고 이론적인 보장을 제공하기 위해 미분적 비밀보장(DP)을 활용하는 PixelDP라는 방법을 제안한다. DP로 모델을 훈련시음으로써 PixelDP는 예측이 1-노름 및 2-노름 편향에 대해 유한한 크기로 안정되도록 보장하며, 입력의 40–60%에 대해 이를 달성한다. 이는 공격 하에서 최고 성능을 기록하는 동시에 인증된 강건성을 제공한다.

ABSTRACT

Adversarial examples in machine learning has been a topic of intense research interest, with attacks and defenses being developed in a tight back-and-forth. Most past defenses are best-effort, heuristic approaches that have all been shown to be vulnerable to sophisticated attacks. More recently, rigorous defenses that provide formal guarantees have emerged, but are hard to scale or generalize. A rigorous and general foundation for designing defenses is required to get us off this arms race trajectory. We propose leveraging differential privacy (DP) as a formal building block for robustness against adversarial examples. We observe that the semantic of DP is closely aligned with the formal definition of robustness to adversarial examples. We propose PixelDP, a strategy for learning robust deep neural networks based on formal DP guarantees. PixelDP networks give theoretical guarantees for a subset of their predictions regarding the robustness against adversarial perturbations of bounded size. Our evaluation with MNIST, CIFAR-10, and CIFAR-100 shows that PixelDP networks achieve accuracy under attack on par with the best-performing defense to date, but additionally certify robustness against meaningful-size 1-norm and 2-norm attacks for 40-60% of their predictions. Our experience points to DP as a rigorous, broadly applicable, and mechanism-rich foundation for robust machine learning.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 적대적 예제에 대한 엄밀하고 일반화 가능한 방어 기법의 부족을 해결한다.
• 적응 공격에 취약한 히وري스틱 방어 기법의 한계를 극복한다.
• 미분적 비밀보장을 핵심 구성 요소로 삼아 강건한 머신 러닝의 공식적 기반을 마련한다.
• 확장 가능하고 메커니즘 기반의 방식으로 유한한 적대적 편향에 대한 강건성에 대한 이론적 보장을 제공한다.
• DP 기반 훈련이 공격 하에서 높은 정확도를 달성하면서도 예측의 상당 부분에 대해 인증된 강건성을 동시에 확보할 수 있음을 보여준다.

제안 방법

• 모델 예측이 소규모 입력 편향에 민감하지 않도록 하기 위해 딥 뉴럴 네트워크의 훈련 과정에 미분적 비밀보장을 적용한다.
• 공식적인 비밀보장이 강건성으로 이어지는, 노이즈 주입이 포함된 DP-SGD(스티어티식 그래디언트 디센트)를 사용해 모델을 훈련시킨다.
• 비밀보장 예산(ε)을 바탕으로 강건성 인증서를 도출하여, 1-노름 및 2-노름 편향이 유한한 범위 내에서 예측이 변화하지 않도록 보장한다.
• 모델 출력이 입력 변화에 얼마나 민감한지에 기반해 개별 예측에 대한 강건성 인증서를 계산하고 전파하는 메커니즘을 설계한다.
• DP의 불가구별성 개념과 적대적 강건성 간의 의미적 일치를 활용해 강건성 보장을 공식화한다.
• DP 훈련과 개별 예측에 대한 강건성 인증을 통합한 훈련 및 추론 파이프라인으로 PixelDP를 구현한다.

실험 결과

연구 질문

• RQ1 미분적 비밀보장이 딥 러닝에서 적대적 강건성의 공식적 기초로 기능할 수 있는가?
• RQ2 DP 기반 훈련이 1-노름 및 2-노름 유한 편향 공격에 대해 얼마나 강건한 인증을 제공할 수 있는가?
• RQ3 공격 하에서의 정확도 측면에서, DP 기반 모델의 강건성은 최신 히وري스틱 방어 기법과 비교해 어떻게 되는가?
• RQ4 제안된 DP 기반 방법을 통해 얼마나 많은 예측을 공식적으로 강건성 인증할 수 있는가?
• RQ5 제안된 방법은 MNIST, CIFAR-10 및 CIFAR-100과 같은 표준 비전 벤치마크에 대해 강건성 보장을 유지하면서도 확장 가능한가?

주요 결과

• PixelDP 네트워크는 MNIST, CIFAR-10 및 CIFAR-100에서 최고 성능을 기록한 방어 기법과 유사한 공격 하 정확도를 달성한다.
• 예측의 40–60%에 대해 PixelDP는 의미 있는 크기의 1-노름 및 2-노름 편향에 대해 공식적인 강건성 인증을 제공한다.
• 이 방법은 이론적 보장을 바탕으로 하며, 히وري스틱 방어 기법을 무너뜨리는 적응 공격에 저항할 수 있다.
• 강건성 인증서는 각 예측별로 계산되므로, 필요에 따라 강건한 추론을 선택적으로 적용할 수 있다.
• 이 접근법은 DP가 강건한 머신 러닝을 위한 메커니즘 기반, 확장 가능하고 일반적인 기반으로 기능할 수 있음을 보여준다.
• 결과는 DP와 적대적 강건성 간의 의미적 일치가 성능을 희생시키지 않고도 공식적이고 인증 가능한 방어를 가능하게 한다는 것을 확인한다.