[論文レビュー] Attacks, Defenses, And Tools: A Framework To Facilitate Robust AI/ML Systems

Mohamad Fazelnia, Igor Khokhlov+1 more|arXiv (Cornell University)|Feb 18, 2022

Advanced Malware Detection Techniques被引用数 4

ひとこと要約

本稿では、AI/MLシステムにおける攻撃、防御、ツールを体系的に整理する包括的でシステマティックに導出されたフレームワークを提案する。2,500件の論文を対象とした体系的文献レビューに基づき、敵対的脅威、緩和技術、攻撃的・防御的ツールを標準化された属性で構造化し、開発者や研究者がAIを搭載したソフトウェアシステムの評価とセキュリティ確保を可能にするスケーラブルなオンライン知識ベースを構築する。

ABSTRACT

Software systems are increasingly relying on Artificial Intelligence (AI) and Machine Learning (ML) components. The emerging popularity of AI techniques in various application domains attracts malicious actors and adversaries. Therefore, the developers of AI-enabled software systems need to take into account various novel cyber-attacks and vulnerabilities that these systems may be susceptible to. This paper presents a framework to characterize attacks and weaknesses associated with AI-enabled systems and provide mitigation techniques and defense strategies. This framework aims to support software designers in taking proactive measures in developing AI-enabled software, understanding the attack surface of such systems, and developing products that are resilient to various emerging attacks associated with ML. The developed framework covers a broad spectrum of attacks, mitigation techniques, and defensive and offensive tools. In this paper, we demonstrate the framework architecture and its major components, describe their attributes, and discuss the long-term goals of this research.

研究の動機と目的

• AI/ML特有のサイバー脅威、脆弱性、防御策に関する整理された体系的知識の不足に対処すること。
• 脅威モデリングを前もって行うのを支援する、攻撃、緩和技術、ツールをマッピングする構造的かつ拡張可能なフレームワークを構築すること。
• 敵対者の目的、能力、仮定、専門性を特徴づけることで、AIシステムにおける脅威インテリジェンスを向上させること。
• ソフトウェア設計者が攻撃表面を特定し、適切な防御を選び取れるように支援する、スケーラブルでオンラインの知識ベースを提供すること。
• 敵対的技術とツールの体系的分類を通じて、AIを搭載したソフトウェアシステムの長期的サイバー危険分析の基盤を確立すること。

提案手法

• 2000年から2020年までのIEEE XploreおよびACM Digital Libraryを対象とした体系的文献レビューを実施し、タイトルおよび要旨のスクリーニングにより14,500件の論文を2,500件に絞った。
• 選定された論文の詳細な分析を実施し、スノーボール法を用いて初期データベースに含まれない追加の関連論文を同定した。
• 攻撃、緩和技術、ツールという3つのコアコンponentを有するメタモデルを構築した。
• 攻撃（例：目的、明確性、仮定、能力）、緩和技術（例：アプローチ、種別、利点／欠点）、ツール（例：入出力、攻撃的／防御的、利用可能性）の各属性を定義した。
• 攻撃、緩和技術、ツールの間で双方向マッピングを確立し、相互参照と意思決定支援を可能にした。
• 実務家や研究者による実用的利用を想定し、www.design.se.rit.edu/programs/ai-ml-framework にオンラインでフィルタ可能な知識ベースとしてフレームワークを実装した。

実験結果

リサーチクエスチョン

• RQ1 AI/MLシステムにおける敵対的攻撃の主なカテゴリと属性は何か。また、それらを体系的に分類する方法は何か？
• RQ2 攻撃タイプごとに、効果性、コスト、導入タイミング（予防的 vs. 事後的）の観点から、異なる緩和技術はどのように異なるか？
• RQ3 現在利用可能な攻撃的・防御的ツールは何か。それらは特定の攻撃や防御戦略とどのように関連しているか？
• RQ4 敵対者のモデルを、目的、能力、仮定、専門性の観点から形式的に特徴づける方法は何か。これにより脅威モデリングがどのように向上するか？
• RQ5 攻撃、防御、ツールを統合的に統合できる一貫性がありスケーラブルなフレームワークは、AIを搭載したソフトウェアシステムにおけるサイバー危険分析をどのように支援できるか？

主な発見

• フレームワークは、回避攻撃、汚染攻撃、メンバーシップ推定攻撃、モデル抽出攻撃など、幅広いAI/ML攻撃を、目的、明確性、仮定といった標準化された属性とともに体系的にカタログ化した。
• 緩和技術は、敵対的訓練などの予防的（proactive）と、敵対的サンプル検出などの事後的（reactive）に分類され、それぞれの利点と欠点が文書化されている。
• Foolbox や ART といったオープンソースライブラリから、商業ソリューションに至るまで、多様な攻撃的・防御的ツールが同定され、特定の攻撃や防御戦略に関連付けられた。
• 敵対者モデリングにより、標的型対象型攻撃と無差別攻撃、誤差特化型と誤差汎用型の目的を有する明確な脅威プロファイルが明らかになった。専門性や能力のレベルも異なる。
• フレームワークは、攻撃、緩和技術、ツールの間で双方向マッピングを可能にし、脅威状況とシステム要件に基づいた防御戦略の適切な選択を支援する。
• オンライン知識ベースの初期バージョン（www.design.se.rit.edu/programs/ai-ml-framework）は稼働しており、攻撃タイプ、緩和技術、ツール、敵対者プロファイルごとにフィルタリングが可能で、実用的な脅威モデリングを促進している。