[논문 리뷰] Towards Security Threats of Deep Learning Systems: A Survey

Yingzhe He, Guozhu Meng외 3명|arXiv (Cornell University)|2019. 11. 28.

Adversarial Robustness in Machine Learning참고 문헌 255인용 수 11

한 줄 요약

이 종합 검토는 적대적 공격, 모델 추출, 모델 역행렬화, 오염 공격의 네 가지 주요 보안 위협에 대해 체계적인 분석을 제공한다. 이는 공격 워크플로우, 공격자 역량, 성능 메트릭스를 분석하여 쿼리 효율성과 변형 거리와 같은 핵심 요소를 규명하고, 모델의 강건성 향상과 향후 방어 연구를 이끄는 18가지 실행 가능한 통찰을 제공한다.

ABSTRACT

Deep learning has gained tremendous success and great popularity in the past few years. However, deep learning systems are suffering several inherent weaknesses, which can threaten the security of learning models. Deep learning's wide use further magnifies the impact and consequences. To this end, lots of research has been conducted with the purpose of exhaustively identifying intrinsic weaknesses and subsequently proposing feasible mitigation. Yet few are clear about how these weaknesses are incurred and how effective these attack approaches are in assaulting deep learning. In order to unveil the security weaknesses and aid in the development of a robust deep learning system, we undertake an investigation on attacks towards deep learning, and analyze these attacks to conclude some findings in multiple views. In particular, we focus on four types of attacks associated with security threats of deep learning: model extraction attack, model inversion attack, poisoning attack and adversarial attack. For each type of attack, we construct its essential workflow as well as adversary capabilities and attack goals. Pivot metrics are devised for comparing the attack approaches, by which we perform quantitative and qualitative analyses. From the analysis, we have identified significant and indispensable factors in an attack vector, e.g., how to reduce queries to target models, what distance should be used for measuring perturbation. We shed light on 18 findings covering these approaches' merits and demerits, success probability, deployment complexity and prospects. Moreover, we discuss other potential security weaknesses and possible mitigation which can inspire relevant research in this area.

연구 동기 및 목표

• 딥 러닝 보안 위협의 네 가지 주요 유형—적대적 공격, 모델 추출, 모델 역행렬화, 오염 공격—의 공격 벡터를 체계적으로 분석한다.
• 공격자 역량, 공격 목표, 각 공격 유형의 전반적인 라이프사이클을 분석하여 실제 공격 실행 방식을 명확히 한다.
• 다양한 연구 간 공격 접근 방식을 정량적·정성적으로 비교하기 위한 표준화된 핵심 메트릭스를 수립한다.
• 공격 효과성, 성공 확률, 구현 복잡성, 한계와 관련된 18가지 핵심 통찰을 도출하여 향후 방어 연구를 이끌어낸다.
• 잠재적 완화 전략을 탐색하고, 진화하는 위협에 대비한 딥 러닝 시스템 보안을 위한 열린 과제를 규명한다.

제안 방법

• 적대적 공격, 모델 추출, 모델 역행렬화, 오염 공격의 네 가지 공격 유형에 대해 총 245편의 논문을 분류하고 분석한다.
• 각 공격 유형에 대해 표준화된 공격 워크플로우를 구축하여 초기 접근에서 최종 영향에 이르는 단계별 실행 과정을 상세 기술한다.
• 쿼리 액세스, 모델 액세스, 데이터 액세스 등의 역량 기반으로 공격자 모델을 정의하여 위협 표면의 경계를 명확히 한다.
• 쿼리 효율성, 변형 거리(Lp 노름 등), 성공률, 계산 비용과 같은 핵심 메트릭스를 도입하여 다양한 공격 간 비교를 가능하게 한다.
• 방어적 디스틸레이션, 피처 스러이싱, 적대적 훈련, 탐지 기반 방어 기법 등을 실증적 성능 데이터를 바탕으로 평가한다.
• 자원 집약적 공격의 비용-편익 분석과 현재 방어 메커니즘의 한계를 포함한 공격의 상호 교환 관계에 대한 통찰을 통합한다.

실험 결과

연구 질문

• RQ1 딥 러닝에서 적대적 공격, 모델 추출, 모델 역행렬화, 오염 공격의 핵심 구성 요소와 단계별 워크플로우는 무엇인가?
• RQ2 쿼리 액세스 또는 모델 액세스와 같은 다양한 공격자 역량은 각 공격 유형의 실행 가능성과 성공률에 어떻게 영향을 미치는가?
• RQ3 다양한 위협 모델 간에 다양한 공격 방법의 성능을 공정하게 비교하기 위해 사용할 수 있는 메트릭스는 무엇인가?
• RQ4 공격 비용(시간, 계산 자원, 자원 소모)과 공격 수익(예: 모델 도용, 데이터 泄露) 사이의 주요 트레이드오프는 무엇인가?
• RQ5 가장 효과적인 방어 전략은 무엇이며, 실제 운영 환경에서의 구현에 있어 그 한계는 무엇인가?

주요 결과

• 쿼리 효율성은 모델 추출 공격에서 핵심 요소이며, 쿼리 수를 수개월에서 수십만 배 이상 줄이는 것은 여전히 주요 열린 과제이다.
• Lp-노름 거리는 항상 변형의 신뢰할 만한 측정치가 되지 못하며, 인간에게는 눈에 띄지 않는 큰 변형이 존재할 수 있어, 더 나은 인지 기반 메트릭스의 필요성이 제기된다.
• 방어적 디스틸레이션과 피처 스러이싱은 적대적 예제의 성공률을 크게 감소시키며, 일부 방법은 FGSM 및 JSMA 공격에 대해 90% 이상의 강건성을 달성한다.
• 다양한 방어 기법을 조합하는 것(예: HE + MPC)은 보안을 향상시키지만, 특히 대역폭과 지연 시간 측면에서 시스템 오버헤드를 증가시킨다.
• 공격 성공률은 모델의 복잡성과 아키텍처에 크게 의존하며, 깊이 있는 네트워크일수록 기울기 기반 공격에 더 취약한 편이다.
• 공격의 비용-편익 트레이드오프는 상황에 따라 균일하지 않으며, 일부 공격는 높은 성공률을 얻기 위해 상당한 수의 샤페론 모델 학습(예: 평균 156개의 쿼리/데이터 포인트)이 필요로 한다.