[논문 리뷰] Security and Privacy Issues in Deep Learning

Ho Bae, Jaehee Jang외 5명|arXiv (Cornell University)|2018. 07. 31.

Adversarial Robustness in Machine Learning참고 문헌 236인용 수 58

한 줄 요약

이 논문은 딥 러닝의 보안 및 프라이버시 위협을 조사하고, attacks (evasion, poisoning) 및 privacy breaches를 분류하며, 암호학 및 프라이버시 보존 기법을 포함한 방어 메커니즘을 검토한다.

ABSTRACT

To promote secure and private artificial intelligence (SPAI), we review studies on the model security and data privacy of DNNs. Model security allows system to behave as intended without being affected by malicious external influences that can compromise its integrity and efficiency. Security attacks can be divided based on when they occur: if an attack occurs during training, it is known as a poisoning attack, and if it occurs during inference (after training) it is termed an evasion attack. Poisoning attacks compromise the training process by corrupting the data with malicious examples, while evasion attacks use adversarial examples to disrupt entire classification process. Defenses proposed against such attacks include techniques to recognize and remove malicious data, train a model to be insensitive to such data, and mask the model's structure and parameters to render attacks more challenging to implement. Furthermore, the privacy of the data involved in model training is also threatened by attacks such as the model-inversion attack, or by dishonest service providers of AI applications. To maintain data privacy, several solutions that combine existing data-privacy techniques have been proposed, including differential privacy and modern cryptography techniques. In this paper, we describe the notions of some of methods, e.g., homomorphic encryption, and review their advantages and challenges when implemented in deep-learning models.

연구 동기 및 목표

• 실제 DL 배포에서 안전하고 프라이버시를 보장하는 AI(SPAI)의 필요성을 촉진한다.
• 학습 및 추론 과정에서 DL 모델에 대한 보안 위협을 체계적으로 분류한다.
• 회피 공격 및 poisoning 공격에 대한 방어 전략을 검토한다.
• 다양한 DL 시스템의 프라이버시 위협을 조사하고 암호학/프라이버시 보존 방어를 요약한다.

제안 방법

• 공격을 단계(학습 vs 추론) 및 접근 방식(화이트박스 vs 블랙박스)으로 분류한다.
• 회피(attacks)와 poisoning 공격을 설명한다(예: FGSM, CW, JSMA, BPDA, 전이/블랙박스 공격) 및 악성 데이터 주입 공격을 설명한다.
• 회피에 대한 방어 접근법(그래디언트 마스킹, 강건성, 탐지, 인증)을 요약한다; poisoning 방어는 데이터 이상 탐지, 가지치기, 미세 조정 등을 다룬다.
• 프라이버시 위협(모델 역추론, 다자간 데이터)을 논의하고 차등 프라이버시, 동형 암호화, 안전한 다자간 계산과 같은 방어책을 논의한다.
• 실용적인 공격 유형(범용 섭 perturbations, 경계/제로차수/원 픽셀 공격)과 백도어/트로이닝 전략을 강조한다.

실험 결과

연구 질문

• RQ1 DL 모델의 학습 및 추론 중 보안 공격의 주요 범주와 특성은 무엇인가?
• RQ2 회피 및 poisoning 공격에 대한 방어 접근법은 무엇이며 그 한계는 무엇인가?
• RQ3 다자간 또는 외주 설정에서 DL 시스템에 영향을 미치는 프라이버시 위협은 무엇이며 이를 다루는 암호학/프라이버시 보존 방법은 무엇인가?
• RQ4 SPAI 개념이 견고하고 프라이버시가 보장된 AI 개발에 어떻게 가이드를 제공할 수 있는가?

주요 결과

• 회피 공격은 화이트박스 또는 블랙박스일 수 있으며, FGSM, 반복적 FGSM, CW, JSMA, 범용 섭 perturbations를 포함하고 성공도와 비용이 다양하다.
• Poisoning 공격은 성능 저하, 표적 오염, 백도어 공격으로 분류되며 이상 탐지 및 견고한 학습 전략 등의 방어가 있다.
• 회피에 대한 방어 기술로는 그래디언트 마스킹, 강건성 향상, 탐지, 인증이 포함되며, poisoning 방어는 데이터 필터링과 깨끗한 데이터로의 재훈련에 의존한다.
• 모델 역추론 및 데이터 누출과 같은 프라이버시 공격이 DL 워크플로에서 차등 프라이버시, 동형 암호화, 안전한 다자간 계산의 사용을 촉진한다.