[논문 리뷰] Attacks, Defenses, And Tools: A Framework To Facilitate Robust AI/ML Systems

Mohamad Fazelnia, Igor Khokhlov외 1명|arXiv (Cornell University)|2022. 02. 18.

Advanced Malware Detection Techniques인용 수 4

한 줄 요약

이 논문은 AI/ML 시스템의 공격, 방어 및 도구를 체계적으로 정리하기 위한 종합적이고 체계적인 프레임워크를 제안하며, 사전적 리스크 모델링과 복원력 계획 수립을 가능하게 한다. 2,500편의 논문을 체계적 문헌 검토한 바탕으로, 적대적 위협, 완화 기법, 공격/방어 도구를 표준화된 속성과 함께 체계적으로 정리하여 개발자와 연구자가 AI 기반 소프트웨어 시스템을 평가하고 보안화할 수 있도록 확장 가능한 온라인 지식 기반을 구축한다.

ABSTRACT

Software systems are increasingly relying on Artificial Intelligence (AI) and Machine Learning (ML) components. The emerging popularity of AI techniques in various application domains attracts malicious actors and adversaries. Therefore, the developers of AI-enabled software systems need to take into account various novel cyber-attacks and vulnerabilities that these systems may be susceptible to. This paper presents a framework to characterize attacks and weaknesses associated with AI-enabled systems and provide mitigation techniques and defense strategies. This framework aims to support software designers in taking proactive measures in developing AI-enabled software, understanding the attack surface of such systems, and developing products that are resilient to various emerging attacks associated with ML. The developed framework covers a broad spectrum of attacks, mitigation techniques, and defensive and offensive tools. In this paper, we demonstrate the framework architecture and its major components, describe their attributes, and discuss the long-term goals of this research.

연구 동기 및 목표

• AI/ML 전용 사이버 위협, 취약점 및 방어 수단에 대한 조직적이고 체계적인 지식의 부족을 해결하기 위해.
• 사전적 위협 모델링을 지원하기 위해 공격, 완화 기법, 도구를 맵핑하는 체계적이고 확장 가능한 프레임워크를 구축하기 위해.
• 위협 지능 향상을 위해 적대자 모델을 목표, 능력, 가정, 전문성 측면에서 공식적으로 기술하기 위해.
• 소프트웨어 설계자가 공격 표면을 식별하고 적절한 방어 수단을 선택할 수 있도록 지원하는 확장 가능한 온라인 지식 기반을 제공하기 위해.
• 적대적 기법과 도구의 체계적 분류를 통해 AI 기반 소프트웨어 시스템의 장기적 사이버 리스크 분석 기반을 마련하기 위해.

제안 방법

• 2000~2020년 동안 IEEE Xplore 및 ACM 디지털 라이브러리에서 체계적 문헌 검토를 수행하여, 제목 및 초록 스크리닝을 통해 14,500편의 논문을 2,500편으로 필터링하였다.
• 선택된 논문에 대한 세부 분석을 수행하고, 초기 데이터베이스에 포함되지 않은 추가적인 관련 논문을 식별하기 위해 스노우볼링 기법을 적용하였다.
• 공격, 완화 기법, 도구의 세 가지 핵심 구성 요소를 가진 메타모델을 개발하였다.
• 공격(예: 목표, 구체성, 가정, 능력), 완화 기법(예: 접근 방식, 유형, 장점/단점), 도구(예: 입력/출력, 공격/방어, 가용성)에 대한 속성을 정의하였다.
• 공격, 완화 기법, 도구 간 双방향 맵핑을 수립하여 상호 참조 및 정보 기반 의사결정을 가능하게 하였다.
• 실무자와 연구자가 실질적으로 활용할 수 있도록, www.design.se.rit.edu/programs/ai-ml-framework 에서 온라인으로 필터 가능한 지식 기반으로 프레임워크를 구현하였다.

실험 결과

연구 질문

• RQ1 AI/ML 시스템에 대한 적대적 공격의 주요 범주와 속성은 무엇이며, 어떻게 체계적으로 분류할 수 있는가?
• RQ2 다양한 공격 유형에 따라, 효과성, 비용, 구현 시점(사전적 대비 대비 반응적 대비) 측면에서 다른 완화 기법은 어떻게 다를 수 있는가?
• RQ3 현재 가용한 공격 및 방어 도구는 무엇이며, 특정 공격과 방어 전략과 어떻게 연관되어 있는가?
• RQ4 적대자 모델은 목표, 능력, 가정, 전문성 측면에서 어떻게 공식적으로 기술될 수 있으며, 이를 통해 위협 모델링을 어떻게 향상시킬 수 있는가?
• RQ5 공격, 방어, 도구를 통합하고 확장 가능한 프레임워크로 통합하여 AI 기반 소프트웨어 시스템의 사이버 리스크 분 析를 어떻게 지원할 수 있는가?

주요 결과

• 프레임워크는 공격 표면, 오염, 멤버십 추론, 모델 추출과 같은 광범위한 AI/ML 공격을 표준화된 속성(예: 목표, 구체성, 가정)을 통해 성공적으로 정리하였다.
• 완화 기법은 사전적(예: 적대적 훈련) 또는 반응적(예: 적대적 샘플 탐지)으로 분류되며, 각각의 장점과 단점이 문서화되어 있다.
• 오픈소스 라이브러리(Foolbox, ART 포함)에서부터 상용 솔루션에 이르기까지 다양한 공격 및 방어 도구가 식별되었으며, 특정 공격 및 방어 전략과 맵핑되었다.
• 적대자 모델링은 표적 공격 대 비표적 공격, 오류 특정 대 오류 일반화 목표를 포함한 명확한 위협 프로파일을 드러내었으며, 전문성 및 능력 수준이 다양하다.
• 프레임워크는 공격, 완화 기법, 도구 간 이중 방향 맵핑을 가능하게 하여, 위협 환경과 시스템 요구사항에 기반한 방어 전략의 정보 기반 선택을 지원한다.
• 초기 버전의 온라인 지식 기반(www.design.se.rit.edu/programs/ai-ml-framework)은 기능적으로 운영 중이며, 공격 유형, 완화 기법, 도구, 적대자 프로파일별로 필터링이 가능하여 실질적 위협 모델링을 촉진한다.