[논문 리뷰] Security and Privacy for Artificial Intelligence: Opportunities and Challenges

Ayodeji Oseni, Nour Moustafa외 4명|arXiv (Cornell University)|2021. 02. 09.

Adversarial Robustness in Machine Learning인용 수 44

한 줄 요약

이 논문은 적대적 AI 위협, 공격 및 방어를 조사하고, 강화 학습 및 연합 학습을 포함한 AI 시스템의 보안 및 프라이버시 위험을 분석하고 완화하기 위한 포괄적 프레임워크를 제안한다.

ABSTRACT

The increased adoption of Artificial Intelligence (AI) presents an opportunity to solve many socio-economic and environmental challenges; however, this cannot happen without securing AI-enabled technologies. In recent years, most AI models are vulnerable to advanced and sophisticated hacking techniques. This challenge has motivated concerted research efforts into adversarial AI, with the aim of developing robust machine and deep learning models that are resilient to different types of adversarial scenarios. In this paper, we present a holistic cyber security review that demonstrates adversarial attacks against AI applications, including aspects such as adversarial knowledge and capabilities, as well as existing methods for generating adversarial examples and existing cyber defence models. We explain mathematical AI models, especially new variants of reinforcement and federated learning, to demonstrate how attack vectors would exploit vulnerabilities of AI models. We also propose a systematic framework for demonstrating attack techniques against AI applications and reviewed several cyber defences that would protect AI applications against those attacks. We also highlight the importance of understanding the adversarial goals and their capabilities, especially the recent attacks against industry applications, to develop adaptive defences that assess to secure AI applications. Finally, we describe the main challenges and future research directions in the domain of security and privacy of AI technologies.

연구 동기 및 목표

• 2018–2020년의 AI 시스템에 대한 보안 및 프라이버시 위협에 대한 기존 문헌을 식별하고 종합한다.
• 심층 학습과 연합 학습을 포함한 머신러닝 작업 범주에 대한 개요와 그들의 보안 시사점을 제공한다.
• AI 응용 프로그램에 대한 고급 공격 기법을 설명하기 위한 적대적 공격 프레이므워크를 소개한다.
• 적대적 공격으로부터 AI 모델을 보호하기 위한 방어 프레이므워크를 제시한다.
• AI 보안 및 프라이버시에 대한 도전과제와 향후 연구 방향을 강조한다.

제안 방법

• AI 보안/프라이버시에 관한 최근 설문조사와 리뷰를 체계적으로 검토하여 한계와 격차를 식별한다.
• 감독학습, 비감독학습, 준지도학습, 강화학습 등 머신러닝 작업의 분류와 심층학습 및 연합학습에 대한 논의를 다룬다.
• AI 모델에 대한 공격의 정량적 분석을 위한 포괄적 적대적 공격 프레이므워크를 개발한다(그림 2).
• 훈련 단계와 테스트 단계의 공격 설문조사를 수집하고 분석하여(표 2와 표 3) 공격 유형, 목표 및 지식 가정의 매핑을 한다.
• 방어 기법의 합성 및 적대적 능력에 맞춘 적응 방어의 논의를 한다.
• 리뷰를 바탕으로 교훈과 향후 연구 방향에 대해 토론한다.

실험 결과

연구 질문

• RQ1 훈련 및 테스트 단계 전반에 걸친 AI 시스템에 영향을 미치는 주요 적대적 위협 모델은 무엇인가?
• RQ2 강화 학습 및 연합 학습을 포함한 다양한 AI 패러다임이 공격 표면과 방어 전략에 어떻게 영향을 미치는가?
• RQ3 AI 모델의 분류를 가장 잘 포착하는 적대적 공격 및 방어의 프레이므워크는 무엇인가?
• RQ4 산업계와 사회에서 AI 시스템 보안의 주요 도전과 향후 방향은 무엇인가?

주요 결과

• 본 논문은 다양한 ML/DL 작업에 걸쳐 오염(포이즈닝), 회피, 백도어 등 광범위한 적대적 공격을 식별하고 공격자의 목표와 지식을 종합적으로 제시한다.
• 적대적 위협을 수량화하고 비교하기 위한 포괄적 공격 분석 프레임워크를 도입한다.
• 다수의 방어 기법을 검토하고 대안적 방어가 필요하다고 강조하며, 진화하는 적대적 역량에 대응하기 위한 적응 방어의 필요성을 강조한다.
• AI의 보안/프라이버시 연구의 성장세를 강조하고, 기존 설문의 한계와 격차를 지적하며 더 통합적인 관점을 제시한다.
• 연합 학습은 분산 데이터와 모델 업데이트로 인한 보안 고려사항이 뚜렷한 프라이버시 인식 패러다임으로 논의된다.