[論文レビュー] Semantic-preserving Reinforcement Learning Attack Against Graph Neural Networks for Malware Detection

Lan Zhang, Peng Liu+2 more|arXiv (Cornell University)|Sep 11, 2020

Advanced Malware Detection Techniques参考文献 53被引用数 4

ひとこと要約

本論文は、ブラックボックスのグラフニューラルネットワーク（GNN）マルウェア検出器を回避するため、制御フローダイアグラム（CFG）に意味的Nopを挿入することで意味を保ったままの悪意あるマルウェアを生成する強化学習ベースの攻撃を提案する。この手法は、RLエージェントを用いて最適な基本ブロックと意味的Nopを自動で選択し、ベースライン攻撃と比較して著しく高い回避率を達成している。

ABSTRACT

As an increasing number of deep-learning-based malware scanners have been proposed, the existing evasion techniques, including code obfuscation and polymorphic malware, are found to be less effective. In this work, we propose a reinforcement learning-based semantics-preserving (i.e.functionality-preserving) attack against black-box GNNs (GraphNeural Networks) for malware detection. The key factor of adversarial malware generation via semantic Nops insertion is to select the appropriate semanticNopsand their corresponding basic blocks. The proposed attack uses reinforcement learning to automatically make these "how to select" decisions. To evaluate the attack, we have trained two kinds of GNNs with five types(i.e., Backdoor, Trojan-Downloader, Trojan-Ransom, Adware, and Worm) of Windows malware samples and various benign Windows programs. The evaluation results have shown that the proposed attack can achieve a significantly higher evasion rate than three baseline attacks, namely the semantics-preserving random instruction insertion attack, the semantics-preserving accumulative instruction insertion attack, and the semantics-preserving gradient-based instruction insertion attack.

研究の動機と目的

• 従来のコードの難読化などの回避技術が効果を失いつつあるGNNベースのマルウェア検出モデルの増大する効果性に対処するため。
• マルウェアの機能を保持しつつGNNベースの検出器を回避できる意味を保った攻撃を開発するため。
• 強化学習を用いて、どの基本ブロックと意味的Nopを挿入するかという意思決定プロセスを自動化するため。
• Windowsマルウェアおよび良性プログラムで訓練されたブラックボックスGNNモデルに対する攻撃の有効性を評価するため。
• 既存のコード難読化技術と adversarial example 生成を統合することで、実装の負荷を低減する可能性を検討するため。

提案手法

• 攻撃は、強化学習エージェントを用いて、マルウェアサンプルの制御フローダイアグラム（CFG）に意味的Nopを挿入する場所と種別を決定する。
• RLエージェントは、GNNベースのマルウェア検出器を回避しつつプログラムの意味を保持するように、報酬関数を用いて訓練される。
• 意味的NopはCFGの基本ブロックに挿入され、プログラムの機能に変更を加えずにグラフ構造を変更する。
• 攻撃はブラックボックス設定で動作し、ターゲットGNNモデルの内部重みや勾配情報へのアクセスを必要としない。
• 評価のため、Windowsマルウェアと良性プログラムから得たCFGを用いて、2種類のGNNモデル（GCNとGAT）を訓練する。
• 本手法は、4つのベースライン（ランダム挿入、累積的挿入、勾配ベースの挿入、バイナリ多様化）に対して評価される。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、GNNベースのマルウェア検出器を回避するための意味的Nopの選択と挿入位置の自動化に効果的に適用可能か？
• RQ2 提案された意味を保った攻撃は、ランダム挿入や勾配ベースの命令挿入といった既存のベースライン手法と比較して、回避率で優れているか？
• RQ3 攻撃は、検出を回避しつつも、マルウェアの機能をどの程度維持しているか？
• RQ4 この攻撃は、他のGNNベースのモデルや命令列やAPIコールシーケンスといった順序データ表現にも適用可能か？

主な発見

• 提案された強化学習ベースの攻撃は、GCNおよびGATモデルの両方で、4つのベースライン攻撃と比較して著しく高い回避率を達成した。
• 攻撃は、マルウェアサンプルの機能的動作を変更せずに、GNNベースのマルウェア検出器を効果的に回避した。
• RLエージェントは、勾配情報やターゲットモデルのホワイトボックスアクセスを必要とせず、最適な挿入戦略を自動で学習した。
• 本手法は、意味を保ったランダム命令挿入攻撃、累積的命令挿入攻撃、勾配ベースの命令挿入攻撃と比較して、回避成功確率の面で優れていた。
• 結果から、GNNベースのマルウェア検出器は、基本ブロックレベルでの戦略的Nop挿入によって生じる悪意ある変更に対して、意味を保った攻撃に対して脆弱であることが示された。