[논문 리뷰] Machine Learning Security against Data Poisoning: Are We There Yet?

Antonio Emanuele Ciná, Kathrin Grosse외 4명|arXiv (Cornell University)|2022. 04. 12.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 13

한 줄 요약

이 논문은 기계학습에서의 데이터 풀링 공격에 대한 종합적인 설문 조사로, 공격의 메커니즘, 영향 및 기존 방어 조치를 분석한다. 스케일링, 현실적인 위협 모델링, 방어 조치 평가 등의 핵심 과제를 규명하며, 현재의 방법론이 풀링 위협에 대비해 신뢰할 수 있는 기계학습 시스템을 확보하는 데에는 부족하다고 결론을 내린다.

ABSTRACT

The recent success of machine learning (ML) has been fueled by the increasing availability of computing power and large amounts of data in many different applications. However, the trustworthiness of the resulting models can be compromised when such data is maliciously manipulated to mislead the learning process. In this article, we first review poisoning attacks that compromise the training data used to learn ML models, including attacks that aim to reduce the overall performance, manipulate the predictions on specific test samples, and even implant backdoors in the model. We then discuss how to mitigate these attacks using basic security principles, or by deploying ML-oriented defensive mechanisms. We conclude our article by formulating some relevant open challenges which are hindering the development of testing methods and benchmarks suitable for assessing and improving the trustworthiness of ML models against data poisoning attacks

연구 동기 및 목표

• 데이터 풀링 공격의 현재 상태와 기계학습 모델의 신뢰성에 미치는 영향을 분석하기 위해.
• 데이터 정제 및 모델 수준의 강화를 포함한 기존 방어 조치를 풀링 공격에 대해 평가하기 위해.
• 실제 위협 모델링, 확장성, 방어 조치의 철저한 평가와 관련된 핵심 열린 과제를 규명하기 위해.
• 이론적 방어 조치와 산업 규모의 기계학습 시스템에서의 실질적 구현 간 격차를 부각하기 위해.
• 실제 세계의 제약 조건 하에서 방어 조치의 강건성을 평가하기 위해 개선된 벤치마크와 적응형 평가 프로토콜을 주장하기 위해.

제안 방법

• 공격 목표에 따라 풀링 공격 시나리오를 분류함: 성능 저하, 표적 오분류, 백도어 임플란트.
• 보안 및 기계학습 원칙을 활용해 데이터 수준의 정제 및 모델 수준의 강화 기반의 방어 전략을 검토함.
• 개인정보 보호 기법이 풀링 위험을 완화하는 데 기여할 수 있으나, 그 상호작용은 아직 탐색되지 않았음.
• 고급 풀링 공격의 계산 비용을 줄이기 위해 메타학습 및 하이퍼파rameter 최적화의 활용을 제안함.
• 지능형 적대자 조건 하에서 방어 조치의 강건성을 시험하기 위해 평가에 적응형 공격이 필요하다고 강조함.
• 실제 세계의 데이터 접근 및 모델 배포 제약 조건을 반영한 표준화된 벤치마크 및 평가 프로토콜의 필요성을 촉구함.

실험 결과

연구 질문

• RQ1 현대 기계학습 시스템에서 데이터 풀링 공격의 주요 유형과 위협 모델은 무엇인가요?
• RQ2 실제 및 적응형 공격 시나리오 하에서 현재의 방어 조치가 풀링 공격을 얼마나 효과적으로 완화할 수 있나요?
• RQ3 왜 풀링 공격의 확장성은 특히 딥러닝 모델의 경우 실세계 구현에서 주요 장애물이 되나요?
• RQ4 기계학습 방어 조치의 강건성을 데이터 풀링에 대해 평가할 때의 주요 제한 사항은 무엇인가요?
• RQ5 개인정보 보존 기법과 데이터 풀링 방어 조치를 어떻게 더 잘 통합하고 이해할 수 있을까요?

주요 결과

• 기업들이 기계학습을 사용할 때 데이터 풀링은 가장 두려워하는 위협으로 간주되며, 이는 실제 응용에서의 중요성을 반영한다.
• 많은 기존의 풀링 공격는 전체 훈련 세트를 완전히 제어할 수 있다는 비현실적인 가정을 필요로 하여 실용적 타당성이 제한된다.
• 효과적이고 도청이 어려운 고급 풀링 공격는 비용이 많이 드는 최적화 문제를 해결해야 하므로 확장성이 제한된다.
• 평가에서 적응형 공격의 부재는 현재 방어 조치의 강건성에 대한 신뢰를 약화시킨다.
• 현재의 방어 조치는 적응형 적대자에 대해 체계적으로 평가되지 않아 실제 세계에서의 효과성에 대한 이해가 불완전하다.
• 데이터 풀링과 개인정보 침해 공격 등의 다른 기계학습 보안 위협 간의 상호작용은 아직 잘 이해되지 않았고, 연구가 부족한 상태이다.