[論文レビュー] Threat Assessment in Machine Learning based Systems

Lionel Nganyewou Tidjon, Foutse Khomh|arXiv (Cornell University)|Jun 30, 2022

Adversarial Robustness in Machine Learning被引用数 15

ひとこと要約

本稿は、MITREのATLAS、AIインcidンスデータベース、および854のMLリポジトリからの実世界の攻撃データを用いて、機械学習システムの実証的脅威評価を実施している。畳み込みニューラルネットワーク（CNN）やTensorFlow、OpenCVなどのライブラリが主な標的であることが特定され、MLライフサイクルの各フェーズにわたり脅威の戦術・技術・手順（TTPs）をマッピングし、実務者、レッドブルー・チーム、研究者を支援するためのマルチレイヤー防御マトリクスを提案している。

ABSTRACT

Machine learning is a field of artificial intelligence (AI) that is becoming essential for several critical systems, making it a good target for threat actors. Threat actors exploit different Tactics, Techniques, and Procedures (TTPs) against the confidentiality, integrity, and availability of Machine Learning (ML) systems. During the ML cycle, they exploit adversarial TTPs to poison data and fool ML-based systems. In recent years, multiple security practices have been proposed for traditional systems but they are not enough to cope with the nature of ML-based systems. In this paper, we conduct an empirical study of threats reported against ML-based systems with the aim to understand and characterize the nature of ML threats and identify common mitigation strategies. The study is based on 89 real-world ML attack scenarios from the MITRE's ATLAS database, the AI Incident Database, and the literature; 854 ML repositories from the GitHub search and the Python Packaging Advisory database, selected based on their reputation. Attacks from the AI Incident Database and the literature are used to identify vulnerabilities and new types of threats that were not documented in ATLAS. Results show that convolutional neural networks were one of the most targeted models among the attack scenarios. ML repositories with the largest vulnerability prominence include TensorFlow, OpenCV, and Notebook. In this paper, we also report the most frequent vulnerabilities in the studied ML repositories, the most targeted ML phases and models, the most used TTPs in ML phases and attack scenarios. This information is particularly important for red/blue teams to better conduct attacks/defenses, for practitioners to prevent threats during ML development, and for researchers to develop efficient defense mechanisms.

研究の動機と目的

• 機械学習システムに特化した包括的な脅威評価フレームワークの不足に対処すること。
• MLライフサイクルの各フェーズにわたり、実世界の攻撃標的となる脅威を特定・特徴づけること。
• 人気のあるMLリポジトリおよびその依存関係における脆弱性を分析し、潜在的な攻撃表面を予測すること。
• ATLASのような既存の脅威データベースに、AIインシデントデータベースおよび文献から得た新たなTTPsを追加すること。
• 標準的なセキュリティ対策とML固有の防御を統合した、実用的な展開を想定したマルチレイヤー防御マトリクスを開発すること。

提案手法

• MITREのATLAS、AIインシデントデータベース、および学術文献から89件の実世界のML攻撃シナリオを収集した。
• GitHubおよびPythonパッケージアドバイザリ（PyPA）データベースの高評価854件のMLリポジトリに対して脆弱性マイニングを実施した。
• 脅威TTPsをMLライフサイクルフェーズ（データ収集、学習、推論、テスト）、モデル（例：CNN）、ツール（例：TensorFlow、OpenCV）にマッピングした。
• 脆弱性を引き起こす依存関係を特定・分析し、log4j、pickle、joblibなどの高リスクライブラリに焦点を当てた。
• NIST、クラウドセキュリティアライアンス、および標準セキュリティフレームワークからのセキュリティ制御を、特定の脅威タイプおよびMLコンポonentsにマッピングすることで、マルチレイヤーML防御マトリクスを構築した。
• 自然言語処理およびパターンマッチングを用いて、イシュースレッドおよびセキュリティアドバイザリからCVEおよびTTPsを抽出し、誤検出を低減するための手動検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 実世界の攻撃において、どのMLモデルやコンponentが最も頻繁に標的とされているか？
• RQ2 MLベースのシステムの乗っ取りに使用される最も一般的な脅威戦術・技術・手順（TTPs）は何か？
• RQ3 どのMLライブラリおよび依存関係が最も顕著な脆弱性を示し、最大のリスクをもたらしているか？
• RQ4 従来のセキュリティ対策とML固有の防御は、MLライフサイクル全体で実世界の脅威パターンとどのように整合しているか？
• RQ5 AIインシデントデータベースおよび文献から、ATLASのような既存の脅威知識ベースを拡張するための新たなTTPsは何か？

主な発見

• 畳み込みニューラルネットワーク（CNN）は、実世界の攻撃シナリオにおいて最も標的とされた機械学習モデルの一つであった。
• 最も頻繁に攻撃されたMLフェーズは学習、推論、データ収集であり、テストフェーズも高いリスクを示すようになった。
• TensorFlow、OpenCV、Jupyter Notebook（Notebook）は、脆弱性の顕著性が最も高かったMLリポジトリであった。
• log4j、pickle、joblib、numpy116、python3.9.1といった重要な依存関係が、脆弱性の大部分を占めていた。
• バッファオーバーフローおよびDoS（サービス拒否）攻撃が、MLリポジトリで最も一般的な脆弱性であった。
• 本研究では、32件の新たな攻撃シナリオ（17の技術、13の戦術）を同定し、MITRE ATLASデータベースにML脅威用に以前未記録のTTPsを追加した。