[논문 리뷰] Provable trade-offs between private & robust machine learning.

Jamie Hayes|arXiv (Cornell University)|2020. 06. 08.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 6

한 줄 요약

이 논문은 표준 모델과 강건 모델 간의 오버피팅 차이를 분석하여 머신러닝에서 프라이버시와 강건성 간의 증명 가능한 트레이드오프를 확립한다. 강건 모델은 오버피팅을 줄일 수 있으며, 이는 특히 충분한 훈련 데이터가 존재할 경우 프라이버시 위험을 감소시킨다는 점을 보여주며, 강건성이 본질적으로 프라이버시를 약화시킨다는 가정을 도전한다.

ABSTRACT

Historically, machine learning methods have not been designed with security in mind. In turn, this has given rise to adversarial examples, carefully perturbed input samples aimed to mislead detection at test time, which have been applied to attack spam and malware classification, and more recently to attack image classification. Consequently, an abundance of research has been devoted to designing machine learning methods that are robust to adversarial examples. Unfortunately, there are desiderata besides robustness that a secure and safe machine learning model must satisfy, such as fairness and privacy. Recent work by Song et al. (2019) has shown, empirically, that there exists a trade-off between robust and private machine learning models. Models designed to be robust to adversarial examples often overfit on training data to a larger extent than standard (non-robust) models. If a dataset contains private information, then any statistical test that separates training and test data by observing a model's outputs can represent a privacy breach, and if a model overfits on training data, these statistical tests become easier. In this work, we identify settings where standard models will provably overfit to a larger extent in comparison to robust models, and as empirically observed in previous works, settings where the opposite behavior occurs. Thus, it is not necessarily the case that privacy must be sacrificed to achieve robustness. The degree of overfitting naturally depends on the amount of data available for training. We go on to formally characterize how the training set size factors into the privacy risks exposed by training a robust model. Finally, we empirically show our findings hold on image classification benchmark datasets, such as CIFAR-10.

연구 동기 및 목표

• 강건한 머신러닝 모델이 오버피팅 증가로 인해 데이터 프라이버시를 본질적으로 침해하는가를 조사하기 위해.
• 훈련 세트 크기가 강건 모델에서 프라이버시 위험에 어떻게 영향을 미치는지 공식적으로 분석하기 위해.
• 강건 모델이 표준 모델보다 오버피팅이 적게 일어나는 조건을 특정하기 위해, 이는 이전의 경험적 관찰에 도전한다.
• 관측된 프라이버시-강건성 트레이드오프에 대한 이론적 근거를 제공하기 위해.
• CIFAR-10과 같은 벤치마크 데이터셋에서 이론적 결과를 경험적으로 검증하기 위해.

제안 방법

• 일반화 오차와 오버피팅을 분석하기 위해 일반화 경계를 사용한 표준 모델 대비 강건 모델의 이론적 분석.
• 훈련 세트 크기가 강건 모델의 오버피팅 정도에 어떻게 영향을 미치는지의 공식적 특성화.
• 강건 모델이 표준 모델보다 더 낮은 오버피팅을 보일 조건을 유도하기 위해.
• 모델 출력 유출을 통한 프라이버시 침해를 모델링하기 위해 통계적 검정을 사용하며, 오버피팅과 프라이버시 위험을 연결하기 위해.
• 오버피팅과 프라이버시 노출을 비교하기 위해 표준 및 강건 훈련 방법을 사용해 CIFAR-10에서의 경험적 평가.
• 다양한 훈련 세트 크기에서 일반화 오차와 테스트 정확도 간의 정량적 비교.

실험 결과

연구 질문

• RQ1 어떤 조건에서 강건 모델이 표준 모델보다 오버피팅이 적게 일어나며, 이로 인해 프라이버시 위험이 감소하는가?
• RQ2 훈련 데이터 세트의 크기가 강건 머신러닝 모델과 관련된 프라이버시 위험에 어떻게 영향을 미치는가?
• RQ3 모델의 강건성과 오버피팅 사이에 프라이버시에 영향을 미치는 증명 가능한 관계가 존재하는가?
• RQ4 어떤 데이터 제약 조건 하에서 강건 모델이 표준 모델보다 더 나은 프라이버시 특성을 달성할 수 있는가?
• RQ5 경험적 관찰로 관측된 프라이버시-강건성 트레이드오프가 이론적 분석에서 얼마나 타당한가?

주요 결과

• 강건 모델은 특정 데이터 제약 조건 하에서 표준 모델보다 오버피팅이 적을 수 있으며, 이는 강건성이 항상 프라이버시 위험을 증가시킨다는 가정을 반박한다.
• 충분한 훈련 데이터가 제공될 경우 강건 모델의 오버피팅 정도가 크게 감소하여 프라이버시 노출이 낮아진다.
• 훈련 세트 크기는 프라이버시 위험을 결정하는 데 핵심적인 역할을 하며, 더 큰 데이터 세트는 오버피팅을 줄이고 멤버십 추론 공격의 가능성도 낮춘다.
• 이론적 분석은 데이터가 풍부할 경우 강건 모델이 표준 모델보다 더 나은 일반화 성능을 달성할 수 있음을 확인한다.
• CIFAR-10에서의 경험적 결과는 이론적 결과를 검증하며, 큰 훈련 세트 하에서 강건 모델의 오버피팅 감소를 보여준다.
• 모델 오버피팅으로 인한 프라이버시 위험은 강건성과 본질적으로 연결되어 있는 것이 아니라, 데이터 가용성과 모델 용량에 따라 달라진다.