[논문 리뷰] Towards the Science of Security and Privacy in Machine Learning

Nicolas Papernot, Patrick McDaniel외 2명|arXiv (Cornell University)|2016. 11. 11.

Privacy-Preserving Technologies in Data인용 수 191

한 줄 요약

이 SoK는 ML의 보안과 프라이버시를 조사하고, ML 파이프라인에 대한 통합 위협 모델, 공격/방어의 분류 체계, PAC 기반 해석, 그리고 정확도와 강인성 간의 트레이드오프를 강조하는 노 프리 런치 정리에 대해 소개한다.

ABSTRACT

Advances in machine learning (ML) in recent years have enabled a dizzying array of applications such as data analytics, autonomous systems, and security diagnostics. ML is now pervasive---new systems and models are being deployed in every domain imaginable, leading to rapid and widespread deployment of software based inference and decision making. There is growing recognition that ML exposes new vulnerabilities in software systems, yet the technical community's understanding of the nature and extent of these vulnerabilities remains limited. We systematize recent findings on ML security and privacy, focusing on attacks identified on these systems and defenses crafted to date. We articulate a comprehensive threat model for ML, and categorize attacks and defenses within an adversarial framework. Key insights resulting from works both in the ML and security communities are identified and the effectiveness of approaches are related to structural elements of ML algorithms and the data used to train them. We conclude by formally exploring the opposing relationship between model accuracy and resilience to adversarial manipulation. Through these explorations, we show that there are (possibly unavoidable) tensions between model complexity, accuracy, and resilience that must be calibrated for the environments in which they will be used.

연구 동기 및 목표

• 시스템이 ML을 전체 데이터 파이프라인에 통합하는 것에 대한 통합 위협 모델을 소개한다.
• 적대적 프레임워크 내에서 ML, 보안, 통계, 이론 관점의 공격과 방어를 분류한다.
• CIA(기밀성, 무결성, 가용성) 및 프라이버시 차원에서 학습 시점 및 추론 시점의 공격을 분석한다.
• 분포 드리프트에 대한 강인성, 형식적 프라이버시 보장, 공정성, 책임성 등의 방어 목표를 논의한다.
• 제한된 데이터 하에서의 모델 복잡도, 정확도, 적대적 조작에 대한 회복력 간의 트레이드오프를 설명하는 노 프리 런치 정리를 확립한다.

제안 방법

• 데이터 수집, 학습, 추론 과정을 포괄하는 통합 ML 위협 모델을 제시한다.
• 적대적 능력과 공격자의 목표를 분류한다(추론 시의 white/black 박스; 학습 시의 중독(poisoning) 및 데이터 조작).
• 경험적 위험 최소화를 적대적 위험과 연관시키기 위해 PAC 학습 이론 내에서 공격/방어를 프레이밍한다.
• ML 시스템 내의 기밀성/프라이버시, 무결성, 가용성 및 모델과 파이프라인 수준에서 공격이 어떻게 나타나는지 분석한다.
• 분포 드리프트에 대한 강인성, 차등 프라이버시, 공정성, 투명성 등의 방어책을 논의한다.
• 제한된 데이터 하에서의 적대적 ML의 본질적 트레이드오프를 illustrating하는 노 프리 런치 정리를 제안한다.

실험 결과

연구 질문

• RQ1 데이터 파이프라인을 통해 ML을 포함하는 시스템에 대한 포괄적 위협 모델은 무엇인가?
• RQ2 PAC 학습 이론을 통해 ML의 공격과 방어를 어떻게 분류하고 이해할 수 있는가?
• RQ3 모델 정확도, 적대적 조작에 대한 강인성, 데이터 크기 사이의 근본적인 트레이드오프는 무엇인가?
• RQ4 보안/프라이버시 목표가 ML 파이프라인의 기밀성, 무결성, 가용성, 프라이버시에 어떻게 매핑되는가?

주요 결과

• ML 시스템에서 모델 복잡도, 정확도, 그리고 적대적 조작에 대한 강인성 간에 긴장이 존재한다.
• 공격은 데이터 수집, 학습, 추론 단계 중 어느 곳을 targeting 할 수 있으며 기밀성, 무결성, 가용성, 프라이버시에 영향을 준다.
• PAC 기반 관점은 경험적 위험 최소화를 적대적 위험과 연결시키는 데 도움을 주며 적대적 데이터 변동 하에서의 한계를 명확히 한다.
• Poisoning attacks는 특정 조건에서 적대적으로 조작된 데이터의 일부가 성능을 크게 악화시킬 수 있음을 보여준다.
• 노 프리 런치 특성이 있어 강인성을 달성하는 것이 종종 정확도나 데이터 요구사항과의 트레이드오프를 동반한다.
• 통합된 위협 모델과 체계적 분류 체계는 ML, 보안, 통계, 이론 커뮤니티 전반의 방어 및 연구를 가이드할 수 있다.