[論文レビュー] New data poison attacks on machine learning classifiers for mobile exfiltration

Miguel A. Ramirez, Sang-Young Yoon+8 more|arXiv (Cornell University)|Oct 20, 2022

Advanced Malware Detection Techniques被引用数 5

ひとこと要約

本稿では、モバイルマルウェア漏洩検出のための機械学習分類器を標的とした、モデルに依存しない二つの新しいデータ汚染攻撃を提案する。これらの攻撃は、ラベルの反転に基づくもので、ラベルをランダムに反転するか、特定のクラスにのみ標的を定める。これにより、ロジスティック回帰、意思決定木、ランダムフォレスト、KNNといった多様な分類器において、モデルの精度が著しく低下し、誤分類率が上昇する。これは、マルウェア検出システムにおける深刻な脆弱性を示している。

ABSTRACT

Most recent studies have shown several vulnerabilities to attacks with the potential to jeopardize the integrity of the model, opening in a few recent years a new window of opportunity in terms of cyber-security. The main interest of this paper is directed towards data poisoning attacks involving label-flipping, this kind of attacks occur during the training phase, being the aim of the attacker to compromise the integrity of the targeted machine learning model by drastically reducing the overall accuracy of the model and/or achieving the missclassification of determined samples. This paper is conducted with intention of proposing two new kinds of data poisoning attacks based on label-flipping, the targeted of the attack is represented by a variety of machine learning classifiers dedicated for malware detection using mobile exfiltration data. With that, the proposed attacks are proven to be model-agnostic, having successfully corrupted a wide variety of machine learning models; Logistic Regression, Decision Tree, Random Forest and KNN are some examples. The first attack is performs label-flipping actions randomly while the second attacks performs label flipping only one of the 2 classes in particular. The effects of each attack are analyzed in further detail with special emphasis on the accuracy drop and the misclassification rate. Finally, this paper pursuits further research direction by suggesting the development of a defense technique that could promise a feasible detection and/or mitigation mechanisms; such technique should be capable of conferring a certain level of robustness to a target model against potential attackers.

研究の動機と目的

• 機械学習分類器が、訓練段階においてデータ汚染攻撃に対して、モバイルマルウェア検出においてどれほど脆弱であるかを調査すること。
• 多様で最新のバイナリ分類器に効果的である二つの新しいラベル反転データ汚染攻撃を開発し、評価すること。
• これらの攻撃が、実際のモバイル漏洩データを用いた状況下において、モデルの精度と誤分類率に与える影響を分析すること。
• 現在のモデルに依存しない汚染攻撃に対する防御メカニズムにおける、主要なギャップを特定すること。
• 将来的な防御メカニズムの基盤を築くこと。この防御メカニズムは、訓練データにおけるラベル反転攻撃を検出・緩和できるようにする。

提案手法

• 最初の攻撃は、訓練サンプルのサブセットに対してラベルをランダムに反転させ、訓練中のモデルの整合性を損なうことを目的としている。
• 二番目の攻撃は、二つのクラスのうちの一つのクラスにのみラベルを反転させ、特定のクラスの誤分類を最大化することに焦点を当てる。
• 攻撃はモバイル漏洩データセットに適用され、ロジスティック回帰、意思決定木、ランダムフォレスト、KNNを含む複数のバイナリ分類器で評価されている。
• 汚染後のモデルのパフォーマンスは、精度の低下と誤分類率という指標で測定されている。
• 提案された攻撃はモデルに依存しない。これは、内部のモデルアーキテクチャや訓練プロセスの詳細を知る必要がないことを意味する。
• 再現可能性と透明性を確保するため、本研究では公開済みのデータセットとコードリポジトリを用いている。

実験結果

リサーチクエスチョン

• RQ1 多様な機械学習分類器におけるモバイルマルウェア検出の性能低下に対して、ラベルをランダムに反転させる攻撃はどの程度効果的か？
• RQ2 特定のクラスに対してラベルを選択的に反転させることで、誤分類率を著しく上昇させるとともに、全体のモデル精度を低下させることができるか？
• RQ3 最新のバイナリ分類器は、ラベル反転を用いたモデルに依存しないデータ汚染攻撃に対して、どの程度耐性を示すか？
• RQ4 このような汚染攻撃を可能にする、現在のマルウェア検出パイプラインにおける主な脆弱性は何か？
• RQ5 このようなラベル反転攻撃を検出または緩和できる防御メカニズムに必要な構成要素は何か？

主な発見

• 提案されたランダムラベル反転攻撃により、ロジスティック回帰や意思決定木などの特定の分類器では、精度が50％以上も低下した。
• 選択的ラベル反転攻撃は、標的クラスにおける誤分類率をより高く上昇させ、集中した操作がランダムな反転よりも効果的であることを示した。
• テストされた全分類器—ロジスティック回帰、意思決定木、ランダムフォレスト、KNN—は、両方の攻撃変種に対して顕著なパフォーマンス低下を示した。
• 攻撃は複数のモデルで有効であったため、攻撃のモデルに依存しない性質と、マルウェア検出システムへの広範な適用可能性が確認された。
• 結果から、訓練前の段階での堅牢なデータ洗浄と防御メカニズムの必要性が顕著に浮き彫りになった。
• 本研究は、小規模なデータ汚染でも、モバイル環境における機械学習ベースのマルウェア検出の信頼性を著しく損なう可能性があることを示している。