[논문 리뷰] Regularization Helps with Mitigating Poisoning Attacks: Distributionally-Robust Machine Learning Using the Wasserstein Distance

Farhad Farokhi|arXiv (Cornell University)|2020. 01. 29.

Risk and Portfolio Optimization참고 문헌 32인용 수 5

한 줄 요약

이 논문은 데이터 풀링 공격을 완화하기 위해 워샤프스키 거리(Wasserstein distance)를 사용하는 분포로 보존 가능한 기계학습 프레임워크를 제안한다. 모델 파am의 이중 노름(dual norm)을 정규화 항으로 사용하는 정규화된 최적화 문제로 문제를 재구성함으로써, 적대적인 오염이 발생한 데이터에서도 청소년 데이터에 대한 일반화 성능 향상을 보장한다. 이는 실제 데이터셋에서 회귀 및 분류 과제에 걸쳐 뛰어난 강건한 성능을 보여준다.

ABSTRACT

We use distributionally-robust optimization for machine learning to mitigate the effect of data poisoning attacks. We provide performance guarantees for the trained model on the original data (not including the poison records) by training the model for the worst-case distribution on a neighbourhood around the empirical distribution (extracted from the training dataset corrupted by a poisoning attack) defined using the Wasserstein distance. We relax the distributionally-robust machine learning problem by finding an upper bound for the worst-case fitness based on the empirical sampled-averaged fitness and the Lipschitz-constant of the fitness function (on the data for given model parameters) as regularizer. For regression models, we prove that this regularizer is equal to the dual norm of the model parameters. We use the Wine Quality dataset, the Boston Housing Market dataset, and the Adult dataset for demonstrating the results of this paper.

연구 동기 및 목표

• 기계학습에서 정규화가 데이터 풀링 공격를 완화하는 이유에 대한 일반적인 이론적 근거가 부족한 문제를 해결하기 위해.
• 적대적인 훈련 데이터 오염에도 불구하고 청소년 데이터에서 모델 성능을 보장하는 분포로 보존 가능한 학습 프레임워크를 개발하기 위해.
• 워샤프스키 거리와 리프시츠-상수 정규화를 사용하여 분포로 보존 가능한 최적화 문제를 실용적인 재구성으로 제공하기 위해.
• 실제 세계 데이터셋에서 레이블 뒤집기 및 데이터 수정 공격에 대한 제안된 방법의 강건성을 실험적으로 검증하기 위해.
• 지지 벡터 기반 모델을 초월하여 일반 선형 및 로지스틱 회귀 모델에 대한 정규화의 이론적 이해를 확장하기 위해.

제안 방법

• 유해한 훈련 데이터의 경험적 분포 중심의 워샤프스키 볼 내에서 가장 나쁜 경우의 기대 적합도를 최적화함으로써 분포로 보존 가능한 기계학습 문제를 수립한다.
• 데이터 입력에 대한 적합도 함수의 리프시츠 상수와 경험 평균 적합도를 사용하여 가장 나쁜 경우의 기대 적합도에 대한 상한을 유도한다.
• 리프시츠 상수를 정규화 항으로 추가하여 분포로 보존 가능한 문제를 정규화된 경험적 리스크 최소화 문제로 완화한다.
• 선형 회귀의 경우, 정규화 항이 모델 파am의 이중 노름과 동일함을 증명함으로써 효율적인 최적화를 가능하게 한다.
• 선형 회귀(와인 품질, 보스턴 주택)와 로지스틱 회귀(어덜트 데이터셋)에 대해 레이블 뒤집기 및 데이터 수정 공격를 적용한다.
• 기본 노름으로 2-노름을 사용하여 이중 노름도 2-노름이 되며, 목적 함수 내 정규화 항을 ∥θ∥₂²로 단순화한다.

실험 결과

연구 질문

• RQ1 왜 정규화가 지지 벡터 기반 모델을 초월하여 데이터 풀링 공격를 효과적으로 완화하는가?
• RQ2 워샤프스키 거리 기반 분포로 보존 가능한 최적화가 풀링 공격 하에서 청소년 데이터에서 성능 보장을 제공할 수 있는가?
• RQ3 어떻게 분포로 보존 가능한 최적화 문제를 실용적인 정규화된 학습 문제로 재구성할 수 있는가?
• RQ4 선형 회귀 모델의 맥락에서 정규화 항의 해석적 형태는 무엇인가?
• RQ5 제안된 방법은 실생활에서 레이블 뒤집기 및 데이터 수정 공격에 대해 어느 정도 강건성을 향상시키는가?

주요 결과

• 제안된 정규화된 학습 프레임워크는 레이블 뒤집기 및 데이터 수정 공격 모두에서 청소년 데이터의 테스트 성능을 크게 향상시키며, 특히 공격 비율이 높을 경우(β > 10%) 두드러진다.
• 와인 품질 데이터셋에서, β = 20%일 때 데이터 수정 공격 하에서 정규화된 모델이 비정규화된 모델보다 최대 30% 높은 테스트 정확도를 기록했다.
• 보스턴 주택 시장 데이터셋에서, 모든 공격 수준에서 정규화된 모델이 기준 모델보다 낮은 테스트 오차(MSE)를 유지했으며, β = 15%일 때 25% 향상된 성능을 기록했다.
• 어덜트 데이터셋에서, 제안된 정규화를 적용한 로지스틱 회귀는 레이블 뒤집기 공격 하에서 비정규화된 모델보다 F1-스코어가 15% 높았다. β = 10%일 때.
• 정규화의 성능 향상은 공격 강도가 높을수록 두드러지게 나타나, 이는 적대적인 데이터 오염에 대한 방법의 강건성을 확인한다.
• 선형 회귀에서 모델 파am의 이중 노름은 정확한 정규화 항으로 기능하며, 정확하고 해석 가능한 정규화 항을 제공한다.