[논문 리뷰] Towards Privacy and Security of Deep Learning Systems: A Survey.

Yingzhe He, Guozhu Meng외 3명|arXiv (Cornell University)|2019. 11. 28.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 종합적 서베이는 딥러닝 시스템의 네 가지 주요 보안 및 프라이버시 위협인 모델 추출, 모델 역전환, 오염 공격 및 적대적 공격에 대한 포괄적인 분석을 제공한다. 공격 워크플로우, 공격자 능력 및 평가 지표를 체계적으로 평가하며, 쿼리 효율성 및 변형 거리와 같은 핵심 요소를 규명하고, 공격 효과성, 복잡성 및 대응 전략에 관한 17개의 실용적 통찰을 제시한다.

ABSTRACT

Deep learning has gained tremendous success and great popularity in the past few years. However, recent research found that it is suffering several inherent weaknesses, which can threaten the security and privacy of the stackholders. Deep learning's wide use further magnifies the caused consequences. To this end, lots of research has been conducted with the purpose of exhaustively identifying intrinsic weaknesses and subsequently proposing feasible mitigation. Yet few is clear about how these weaknesses are incurred and how effective are these attack approaches in assaulting deep learning. In order to unveil the security weaknesses and aid in the development of a robust deep learning system, we are devoted to undertaking a comprehensive investigation on attacks towards deep learning, and extensively evaluating these attacks in multiple views. In particular, we focus on four types of attacks associated with security and privacy of deep learning: model extraction attack, model inversion attack, poisoning attack and adversarial attack. For each type of attack, we construct its essential workflow as well as adversary capabilities and attack goals. Many pivot metrics are devised for evaluating the attack approaches, by which we perform a quantitative and qualitative analysis. From the analysis, we have identified significant and indispensable factors in an attack vector, \eg, how to reduce queries to target models, what distance used for measuring perturbation. We spot light on 17 findings covering these approaches' merits and demerits, success probability, deployment complexity and prospects. Moreover, we discuss other potential security weaknesses and possible mitigation which can inspire relevant researchers in this area.

연구 동기 및 목표

• 딥러닝 시스템의 내재된 보안 및 프라이버시 취약성의 근본 원인과 영향을 체계적으로 조사하기.
• 모델 추출, 역전환, 오염 공격 및 적대적 공격과 같은 다양한 공격 유형이 실질적으로 어떻게 작동하는지 명확히 하기.
• 쿼리 효율성, 변형 거리 및 성공 확률과 같은 표준화된 지표를 통해 공격 효과성을 평가하기.
• 실제 환경에서 공격 성공과 배포 복잡성에 영향을 미치는 핵심 요소를 규명하기.
• 강력한 딥러닝 시스템을 구축하기 위한 잠재적 대응 전략과 향후 연구 방향을 제시하기.

제안 방법

• 모델 추출, 모델 역전환, 데이터 오염, 적대적 공격의 네 가지 유형으로 공격를 분류하고, 정의된 워크플로우와 공격자 능력을 설정하기.
• 각 공격 유형의 공격 목표와 공격자 능력(예: 쿼리 접근 또는 데이터 조작 가능 여부)을 정의하기.
• 공격 성능 평가를 위한 핵심 지표인 쿼리 감소 및 변형 측정 기준을 도입하고 적용하기.
• 다양한 공격 벡터를 대상으로 정량적 및 정성적 분석을 수행하여 공격의 효과성과 실현 가능성을 평가하기.
• 17개의 실용적 통찰로 통합하여 공격의 장단점, 성공률 및 배포 복잡성에 대한 통찰 제공하기.
• 향후 보안 취약점과 대응 기법을 논의하여 강력한 딥러닝 시스템 설계를 이끌 가이드라인 제공하기.

실험 결과

연구 질문

• RQ1 딥러닝에서 모델 추출, 모델 역전환, 오염 공격 및 적대적 공격의 핵심 워크플로우와 공격자 능력은 무엇인가?
• RQ2 쿼리 효율성 및 변형 거리와 같은 요소가 공격 성공과 실질적 배포에 어떻게 영향을 미치는가?
• RQ3 성공 확률과 복잡성 측면에서 다양한 공격 접근 방식의 상대적 강점과 약점은 무엇인가?
• RQ4 공격 성능의 정량적 및 정성적 평가에 가장 효과적인 지표는 무엇인가?
• RQ5 딥러닝 시스템을 보다 안전하게 만들기 위한 가장 유망한 대응 전략과 향후 연구 방향은 무엇인가?

주요 결과

• 대상 모델에 대한 쿼리 수를 줄이는 것은 모델 추출 공격의 효율성과 실현 가능성 향상에 핵심적인 요소이다.
• 변형 거리 측정 지표의 선택은 적대적 공격의 평가 및 성공에 중대한 영향을 미친다.
• 특정 공격자 능력 하에서는 모델 역전환 공격가 민감한 입력 데이터를 높은 정밀도로 성공적으로 재구성할 수 있다.
• 공격자가 학습 데이터에 접근하고 정교하게 설계된 샘플을 삽입할 수 있는 경우 오염 공격는 높은 성공 확률을 보인다.
• 작은 변형으로도 적대적 공격는 매우 효과적이지만, 그 성공 여부는 변형을 측정하는 데 사용되는 거리 지표에 크게 의존한다.
• 본 연구는 공격 성공, 복잡성 및 탐지 가능성 간의 상충 관계를 종합적으로 드러내는 17개의 핵심 통찰를 도출하였으며, 향후 방어 기법 개발에 대한 가이드라인을 제공한다.