[논문 리뷰] Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks, and Defenses

Micah Goldblum, Dimitris Tsipras외 7명|arXiv (Cornell University)|2020. 12. 18.

Adversarial Robustness in Machine Learning인용 수 24

한 줄 요약

이 논문은 기계학습에서 데이터 품질 훼손 및 백도어 공격에 대한 종합적인 분류 체계를 제시하며, 훈련 전용 공격, 이중 훈련/테스트 공격(백도어), 그리고 방어 전략을 분류한다. 다양한 위협 모델을 통합하고, 탐지 및 강건한 훈련 기반 방어 전략을 분석하며, 특히 피어드 및 전이 학습 환경에서 보안, 정확도, 프라이버시 간의 상충 관계에서 중요한 미해결 과제를 규명한다.

ABSTRACT

As machine learning systems grow in scale, so do their training data requirements, forcing practitioners to automate and outsource the curation of training data in order to achieve state-of-the-art performance. The absence of trustworthy human supervision over the data collection process exposes organizations to security vulnerabilities; training data can be manipulated to control and degrade the downstream behaviors of learned models. The goal of this work is to systematically categorize and discuss a wide range of dataset vulnerabilities and exploits, approaches for defending against these threats, and an array of open problems in this space. In addition to describing various poisoning and backdoor threat models and the relationships among them, we develop their unified taxonomy.

연구 동기 및 목표

• 기계학습에서 데이터셋의 취약성을 체계화하고 분류하는 것, 특히 신뢰할 수 없거나 자동화된 데이터 수집으로 인해 발생하는 취약성에 초점 맞추기.
• 데이터 품질 훼손 및 백도어 공격의 위협 환경을 분석하여, 훈련 전용 공격과 이중 훈련/테스트(백도어) 공격 간의 차이를 명확히 하기.
• 데이터 품질 훼손 위협에 대응하기 위해 기존의 탐지 기반 및 훈련 기반 방어 수단을 평가하기.
• 특히 피어드 및 전이 학습 환경에서 강건성, 효율성, 프라이버시 보존 방어 전략의 핵심 개방 과제를 규명하기.
• 데이터 품질 훼손 위협 하에서 현대 기계학습 시스템에서 모델 정확도, 보안, 데이터 프라이버시 간의 갈등을 부각하기.

제안 방법

• 공격 방법(예: 이중 최적화, 레이블 뒤집기, 영향 함수 등)과 위협 모델(훈련 전용, 백도어, 피어드)을 기반으로 통합된 데이터 품질 훼손 공격 분류 체계 제안.
• 최적화 전략(예: 이중 최적화, p-왜곡)과 공격 대상(신규 학습 또는 미세조정된 모델)을 기반으로 공격를 분류하며, 모델 독립적 vs. 모델 특정 접근 방식을 구분.
• 보조 청소 및 오염된 모델을 사용하고 표현에서의 이질성 탐지를 활용하여 오염된 데이터나 모델을 식별하는 탐지 기반 방어 전략 검토.
• 재훈련 없이도 오염 영향을 완화할 수 있는 강건한 최적화 및 사후 보정 기반 훈련 기반 방어 전략 분석.
• 특히 데이터 분포가 이질적인 피어드 학습 환경에서 데이터 품질 훼손을 완화하기 위해 인증된 방어 및 차별적 프라이버시의 실현 가능성 분석.
• 현재 방어 수단의 한계 평가: 훈련 프로토콜이나 데이터에 접근하지 않더라도 공격를 우회할 수 있는 경우가 많고, 탐지 방법의 높은 계산 비용으로 인해 실용성에 제한이 있음.

실험 결과

연구 질문

• RQ1 레이블 뒤집기, 특성 충돌, 이중 최적화와 같은 다양한 데이터 품질 훼손 공격 전략은 영향력과 탐지 가능성에서 어떻게 다를까?
• RQ2 훈련 프로토콜이나 데이터에 접근하지 않더라도, 데이터 품질 훼손 공격를 우회할 수 있는 방어 수단을 얼마나 구성할 수 있을까?
• RQ3 특히 피어드 학습 환경에서 데이터 품질 훼손 존재 시, 모델 정확도, 보안, 데이터 프라이버시 간의 근본적 상충 관계는 어떠한가?
• RQ4 이상 탐지 기반 방어 수단이 눈에 띄지 않는 오염 예제에는 왜 효과가 떨어지는가? 이는 이질적인 데이터 환경에서 어떻게 해결될 수 있는가?
• RQ5 분산형 환경인 피어드 학습에서 대규모 실세계 모델에 대해 데이터 품질 훼손에 대한 인증된 방어 수단을 의미 있게 확장할 수 있는가?

주요 결과

• 오픈 월드 환경에서의 데이터 수집 증가로 인해 데이터 품질 훼손 및 백도어 공격이 점점 더 퍼지고 있으며, 타이 챗봇 사고나 ImageNet 내 악성 소프트웨어 유출 사례 등으로 입증됨.
• 훈련 데이터에 접근하지 않더라도 많은 방어 수단이 우회 가능함을 보여주는 공격들이 존재하며, 이는 오염된 예제와 청소된 예제의 내부 표현을 일치시키는 방식으로 작동함.
• 탐지 기반 방어 수단은 종종 고비용의 보조 모델 훈련과 청소된 데이터셋이 필요하여 실세계 적용에 한계가 있음.
• 차별적 프라이버시 이론적 최악의 경우 경계와 실제 성능 사이에 심각한 격차가 존재하며, 이는 공격이 약하거나 경계가 지나치게 낙관적인 경우일 수 있음.
• 대규모 모델에 대해 데이터 품질 훼손에 대한 인증된 방어 수단은 여전히 실용적이지 않으며, 특히 지역 데이터의 영향이 글로벌 업데이트에 어떻게 영향을 주는지를 모델링하는 데 복잡도가 높기 때문임.
• 악성 클라이언트가 정상적이지만 특이한 데이터 분포를 모방할 경우, 피어드 학습 환경에서 이상 탐지 방식은 클라이언트 수준의 구분을 극도로 어렵게 만듦.