[논문 리뷰] Contamination Attacks and Mitigation in Multi-Party Machine Learning

Jamie Hayes, Olga Ohrimenko|arXiv (Cornell University)|2019. 01. 08.

Adversarial Robustness in Machine Learning인용 수 36

한 줄 요약

이 논문은 중앙집중식 다당 ML에서 오염 공격을 정의하고, 적대적 학습이 이를 방어하면서 모델 유용성을 보존하고 파티 구성원 추론 위험도 감소시킨다는 것을 보인다.

ABSTRACT

Machine learning is data hungry; the more data a model has access to in training, the more likely it is to perform well at inference time. Distinct parties may want to combine their local data to gain the benefits of a model trained on a large corpus of data. We consider such a case: parties get access to the model trained on their joint data but do not see each others individual datasets. We show that one needs to be careful when using this multi-party model since a potentially malicious party can taint the model by providing contaminated data. We then show how adversarial training can defend against such attacks by preventing the model from learning trends specific to individual parties data, thereby also guaranteeing party-level membership privacy.

연구 동기 및 목표

• 악의적인 당사자들이 오염된 데이터를 통해 다당 포괄 모델에 어떻게 영향을 미칠 수 있는지 이해한다.
• 다양한 데이터 모달리티를 갖는 실제 데이터세트를 사용하여 오염 공격을 시연한다.
• 유용성을 유지하면서 파티 정보 누출을 감소시키는 방어로서 적대적 학습을 제안하고 평가한다.
• 적대적 학습이 파티 구성원 추론 위험도 완화한다는 것을 보여준다.

제안 방법

• 중앙집중식 다당 ML 설정에서 오염 공격 방법론과 공격자 예산을 정의한다.
• 세 가지 데이터셋(Adult, Credit Card, News20)에 대해 범주형 및 텍스트 데이터 모두를 대상으로 공격을 시연한다.
• 데이터셋 전반에 걸쳐 신경망 및 CNN 기반 모델을 적용하고 오염도와 검증 정확도를 측정한다.
• 보조 모델이 파티 식별을 예측하려 시도하여 파티 특정 정보에서 벗어나도록 하는 적대적 학습을 제안한다.
• 두 가지 적대적 학습 변형(f'와 f'')을 평가하고 오염 및 프라이버시 지표에 미치는 영향을 분석한다.
• 성능을 희생하지 않으면서 파티 수준의 프라이버시를 제공하고 오염을 완화함을 이론적으로 정당화한다.

실험 결과

연구 질문

• RQ1 중앙집중식 다당 ML 설정에서 악의적인 당사자가 학습 중에 학습되는 내용에 어느 정도까지 영향을 미칠 수 있는가?
• RQ2 타깃이 되는 속성/레이블을 알지 못한 채 오염 공격을 탐지하거나 완화할 수 있는가?
• RQ3 적대적 학습이 모델 정확도를 유지하면서 오염을 감소시키고 파티 수준의 프라이버시를 제공하는가?
• RQ4 적대적 학습이 파티 수준의 구성원 추론 공격까지 완화하는가?

주요 결과

• 오염된 속성과 선택된 라벨 사이에 인위적인 상관관계를 만들어 다당 모델에 영향을 미칠 수 있다.
• 적대적 학습은 오염 공격을 완화하고 비적대적 학습에 비해 검증 정확도를 보존하거나 향상시킬 수 있다.
• 적대적 학습은 공격자가 다수의 파티를 제어하더라도 오염 정확도를 로컬 모델 수준에 가깝게 감소시킨다.
• 이 접근 방식은 모델 출력이 파티 식별자와 독립되도록 만들어 파티 수준의 프라이버시를 제공한다.
• 적대적 학습은 파티 수준의 구성원 추론 위험도 또한 크게 감소시킨다.
• 다른 분포에서 온 데이터는 적대적 학습 하에서 검증 정확도에 약간의 하락만 초래한다.