[논문 리뷰] Threat Assessment in Machine Learning based Systems

Lionel Nganyewou Tidjon, Foutse Khomh|arXiv (Cornell University)|2022. 06. 30.

Adversarial Robustness in Machine Learning인용 수 15

한 줄 요약

이 논문은 MITRE의 ATLAS, AI 사고 데이터베이스, 그리고 854개의 머신러닝 레포지터리에서 수집한 실제 공격 데이터를 활용하여 머신러닝 시스템에 대한 실증적 위협 평가를 수행한다. 컨volutional 네ural 네트워크(CNNs)와 텐서플로우, 오픈소스 등과 같은 라이브러리가 주요 표적이 되었으며, 머신러닝 라이프사이클 단계 전반에 걸쳐 위협 전술, 기법, 절차(TTPs)를 매핑하고, 실무자, 레드팀/블루팀, 연구자들을 위한 다층적 방어 전략 가이드를 제안한다.

ABSTRACT

Machine learning is a field of artificial intelligence (AI) that is becoming essential for several critical systems, making it a good target for threat actors. Threat actors exploit different Tactics, Techniques, and Procedures (TTPs) against the confidentiality, integrity, and availability of Machine Learning (ML) systems. During the ML cycle, they exploit adversarial TTPs to poison data and fool ML-based systems. In recent years, multiple security practices have been proposed for traditional systems but they are not enough to cope with the nature of ML-based systems. In this paper, we conduct an empirical study of threats reported against ML-based systems with the aim to understand and characterize the nature of ML threats and identify common mitigation strategies. The study is based on 89 real-world ML attack scenarios from the MITRE's ATLAS database, the AI Incident Database, and the literature; 854 ML repositories from the GitHub search and the Python Packaging Advisory database, selected based on their reputation. Attacks from the AI Incident Database and the literature are used to identify vulnerabilities and new types of threats that were not documented in ATLAS. Results show that convolutional neural networks were one of the most targeted models among the attack scenarios. ML repositories with the largest vulnerability prominence include TensorFlow, OpenCV, and Notebook. In this paper, we also report the most frequent vulnerabilities in the studied ML repositories, the most targeted ML phases and models, the most used TTPs in ML phases and attack scenarios. This information is particularly important for red/blue teams to better conduct attacks/defenses, for practitioners to prevent threats during ML development, and for researchers to develop efficient defense mechanisms.

연구 동기 및 목표

• 머신러닝 시스템에 특화된 종합적인 위협 평가 프레임워크의 부족을 보완하기 위해.
• 머신러닝 라이프사이클 단계 전반에 걸쳐 실제 공격을 겨냥한 위협을 식별하고 특성화하기 위해.
• 인기 있는 머신러닝 레포지터리와 그 종속성의 취약점을 분석하여 잠재적 공격 표면을 예측하기 위해.
• ATLAS와 같은 기존 위협 데이터베이스에 AI 사고 데이터베이스와 문헌에서 유래한 새로운 TTPs를 통합하여 확장하기 위해.
• 표준 보안 관행과 머신러닝 전용 방어 조치를 통합한 다층적 방어 매트릭스를 개발하여 실질적 구현을 지원하기 위해.

제안 방법

• MITRE의 ATLAS, AI 사고 데이터베이스, 학술 문헌에서 89개의 실제 머신러닝 공격 사례를 수집하였다.
• GitHub와 Python 패키징 어드바라이저(PyPA) 데이터베이스에서 높은 평판을 가진 854개의 머신러닝 레포지터리에서 취약점 탐색을 수행하였다.
• 위협 TTPs를 데이터 수집, 학습, 추론, 테스트 단계 등 머신러닝 라이프사이클 단계, 모델(예: CNNs), 도구(예: 텐서플로우, 오픈소스)에 매핑하였다.
• 위험도가 높은 라이브러리인 log4j, pickle, joblib에 초점을 맞춰 취약성을 유발하는 종속성을 식별하고 분석하였다.
• NIST, 클라우드 보안 연합, 표준 보안 프레임워크에서 유래한 보안 제어를 특정 위협 유형과 머신러닝 구성 요소에 매핑하여 다층적 머신러닝 방어 매트릭스를 구축하였다.
• 자연어 처리와 패턴 매칭을 활용해 이슈 스레드와 보안 고지에서 CVE와 TTPs를 추출하였으며, 오류 음성 감소를 위해 수동 검증을 실시하였다.

실험 결과

연구 질문

• RQ1 실제 공격에서 가장 자주 공격당하는 머신러닝 모델과 구성 요소는 무엇인가?
• RQ2 머신러닝 기반 시스템의 해킹에 가장 흔히 사용되는 위협 전술, 기법, 절차(TTPs)는 무엇인가?
• RQ3 어느 머신러닝 라이브러리와 종속성이 가장 높은 취약성 비중을 차지하며 가장 큰 위험을 초래하는가?
• RQ4 기존 보안 제어와 머신러닝 전용 방어 조치는 머신러닝 라이프사이클 전반에서 실제 위협 패tern과 어떻게 일치하는가?
• RQ5 AI 사고 데이터베이스와 문헌에서 유래한 새로운 TTPs를 통해 기존의 위협 지식 기반(예: ATLAS)을 얼마나 확장할 수 있는가?

주요 결과

• 컨볼루션 네ural 네트워크(CNNs)는 실제 공격 사례에서 가장 자주 공격당하는 머신러닝 모델 중 하나였다.
• 가장 흔히 공격당하는 머신러닝 단계는 학습, 추론, 데이터 수집이었으며, 테스트 단계 역시 높은 위험 단계로 부상하였다.
• 텐서플로우, 오픈소스, Jupyter 노트북(Notebook)은 가장 높은 취약성 비중을 보인 머신러닝 레포지터리였다.
• log4j, pickle, joblib, numpy116, python3.9.1와 같은 핵심 종속성들이 취약성의 상당 부분을 차지하였다.
• 버퍼 오버플로우와 서비스 거부(DoS) 공격이 머신러닝 레포지터리에서 가장 흔히 발견된 취약점이었다.
• 이 연구는 32개의 새로운 공격 시나리오(17개의 기법, 13개의 전술)를 식별하여, 기존에 기록되지 않은 머신러닝 위협 TTPs를 MITRE ATLAS 데이터베이스에 추가하였다.