[論文レビュー] Exploring Backdoor Poisoning Attacks Against Malware Classifiers

Giorgio Severi, Jim Meyer+2 more|arXiv (Cornell University)|Mar 2, 2020

Adversarial Robustness in Machine Learning被引用数 15

ひとこと要約

本稿では、説明可能なAIを用いてクリーンラベルのウォーターマークの特徴を選択することで、モデルに依存しないバックドア汚染攻撃をMLベースのマルウェア分類器に対して提案している。80万個のWindowsバイナリから成るデータセットにおいて、攻撃者がラベルを制御できない状況下でも、わずか1%の汚染サンプルで97%を超える攻撃成功率を達成している。

ABSTRACT

Current training pipelines for machine learning (ML) based malware classification rely on crowdsourced threat feeds, exposing a natural attack injection point. We study for the first time the susceptibility of ML malware classifiers to backdoor poisoning attacks, specifically focusing on challenging clean label attacks where attackers do not control the sample labeling process. We propose the use of techniques from explainable machine learning to guide the selection of relevant features and their values to create a watermark in a model-agnostic fashion. Using a dataset of 800,000 Windows binaries, we demonstrate effective attacks against gradient boosting decision trees and a neural network model for malware classification under various constraints imposed on the attacker. For example, an attacker injecting just 1% poison samples in the training process can achieve a success rate greater than 97% by crafting a watermark of 8 features out of more than 2,300 available features. To demonstrate the feasibility of our backdoor attacks in practice, we create a watermarking utility for Windows PE files that preserves the binary's functionality. Finally, we experiment with potential defensive strategies and show the difficulties of completely defending against these powerful attacks, especially when the attacks blend in with the legitimate sample distribution.

研究の動機と目的

• 攻撃者がラベルを制御できないという現実的な制約下において、MLベースのマルウェア分類器がバックドア汚染攻撃に対してどれほど脆弱であるかを調査すること。
• 説明可能なAI技術を活用して顕著な特徴を同定することで、モデルに依存しないバックドアの作成手法を開発すること。
• 実世界のWindows PEバイナリにこのようなバックドアを実装する可能性を実証すること、かつ機能に影響を与えないこと。
• こうした洗練されたクリーンラベル攻撃に対する防御戦略の有効性を評価すること。

提案手法

• 説明可能なAI手法による特徴の重要度スコアを用い、ウォーターマークを形成するために操作可能な少数の特徴（例：2,300個中8個）を同定する。
• 選択された特徴を変更することで、モデルに依存しないアプローチを用いてバックドアを注入し、汚染サンプルが悪意のないものとして分類されるようにする。
• ウォーターマークユーティリティを用いて、特定の非破壊的特徴を変更することでWindows PEファイルを修正し、バイナリの機能を保持する。
• 勾配ブースティング決定木とニューラルネットワークを、汚染率と特徴制約の変化に応じて汚染データセットで学習させ、攻撃成功率を評価する。
• データの洗浄や異常検知などの防御戦略を評価し、洗練されたクリーンラベル攻撃に対してその限界を検証する。

実験結果

リサーチクエスチョン

• RQ1 攻撃者がラベルを制御できない（すなわちクリーンラベル攻撃の文脈下）において、バックドア汚染攻撃を効果的に実行できるか？
• RQ2 説明可能なAI技術を用いることで、洗練されたバックドアを構築するための最小限で効果的な特徴集合を同定する効果はどの程度か？
• RQ3 低汚染サンプル比率や特徴操作の制限といった現実的な制約下で、こうしたバックドアの成功率はどの程度か？
• RQ4 バックドアが組み込まれたバイナリは、機能的に健全でありながら検知を回避できるか。実用的実装の可能性は？
• RQ5 既存の防御メカニズムは、こうしたクリーンラベルバックドア攻撃をどの程度検出または緩和できるか？

主な発見

• 攻撃者は訓練データにわずか1%の汚染サンプルを注入するだけで、バックドアの成功率を97%を超える水準に達成できる。
• 攻撃は勾配ブースティング決定木とニューラルネットワークの両方のモデルを効果的に標的とし、広範な適用可能性を示している。
• 2,300以上の特徴のうちわずか8つで効果的なウォーターマークを構築できた。これは、説明可能なAIによる特徴選択の精度を示している。
• 提案されたウォーターマークユーティリティは、Windows PEファイルを機能に影響を与えることなく効果的に修正でき、実用的実装の可能性を裏付けた。
• データフィルタリングや異常検知などの防御戦略は、洗練されたクリーンラベル攻撃に対して限定的な有効性を示しており、特にバックドアが正当なデータ分布と自然に融合する場合に顕著である。