[論文レビュー] Interpreting GNN-based IDS Detections Using Provenance Graph Structural Features

Kunal Mukherjee, Joshua Wiedemeier+5 more|arXiv (Cornell University)|Jun 1, 2023

Machine Learning in Materials Science被引用数 4

ひとこと要約

本論文では、解釈可能なグラフ構造的特徴を用いてモデル意思決定を説明することで、GNNベースのインシデント検出システム（IDS）の透明性を向上させるProvExplainerというフレームワークを提案する。このフレームワークは、意思決定木などの単純で解釈可能なモデルを用いて、GNNの予測を最大99%の忠実度で模倣する。これにより、マルウェア検出のための人間が読み取れるシステムレベルの説明が可能となり、セキュリティ運用における説明責任の向上が図られる。

ABSTRACT

Advanced cyber threats (e.g., Fileless Malware and Advanced Persistent Threat (APT)) have driven the adoption of provenance-based security solutions. These solutions employ Machine Learning (ML) models for behavioral modeling and critical security tasks such as malware and anomaly detection. However, the opacity of ML-based security models limits their broader adoption, as the lack of transparency in their decision-making processes restricts explainability and verifiability. We tailored our solution towards Graph Neural Network (GNN)-based security solutions since recent studies employ GNNs to comprehensively digest system provenance graphs for security-critical tasks. To enhance the explainability of GNN-based security models, we introduce PROVEXPLAINER, a framework offering instance-level security-aware explanations using an interpretable surrogate model. PROVEXPLAINER's interpretable feature space consists of discriminant subgraph patterns and graph structural features, which can be directly mapped to the system provenance problem space, making the explanations human interpretable. We show how PROVEXPLAINER synergizes with current state-of-the-art (SOTA) GNN explainers to deliver domain and instance-specific explanations. We measure the explanation quality using the Fidelity+/Fidelity- metric as used by traditional GNN explanation literature, we incorporate the precision/recall metric, where we consider the accuracy of the explanation against the ground truth, and we designed a human actionability metric based on graph traversal distance. On real-world Fileless and APT datasets, PROVEXPLAINER achieves up to 29%/27%/25%/1.4x higher Fidelity+, precision, recall, and actionability (where higher values are better), and 12% lower Fidelity- (where lower values are better) when compared against SOTA GNN explainers.

研究の動機と目的

• システムプロビジョナ分析に用いられるブラックボックスGNNベースのインシデント検出システム（IDS）における透明性の欠如と、実行可能な説明の不足に取り組む。
• システムプロビジョナグラフにおける人間が理解できる問題空間の行動に、複雑なGNN意思決定境界をマッピングすることで、その解釈を克服する。
• セキュリティ分野の知識に基づいた解釈可能なグラフ構造的特徴に根ざした、モデルに依存しないフレームワークを構築し、高忠実度のサロゲートモデリングを可能にする。
• GNNベースの検出結果に対して記述的で論理的な説明を提供することで、セキュリティシステムにおける信頼性と説明責任を向上させる。これは、現実世界のシステム行動と整合するべきである。
• ドメインスペシャリストが、モデルの予測を観察可能なシステムレベルの行動やサブグラフパターンに関連付けることで、アラートの検証、デバッグ、対応を自信をもって行えるようにする。

提案手法

• 古典的グラフ理論から導出されたグラフ構造的特徴に加え、セキュリティ分野の知見を統合することで、GNN意思決定境界を再現するサロゲートモデル（特に意思決定木：DT）を訓練する。
• 中心性指標、クラスタリング係数、サブグラフパターンインジケータなど、悪意ある行動（例：ドライブバイダウンロード、プロセスチェーンの異常）と直接対応する解釈可能なグラフ構造的特徴のセットを設計する。
• GNNモデルの内部重みにアクセスせずに、その意思決定境界を学習できるように、ブラックボックスクエリメカニズムを用いてGNNの予測を抽出する。
• システムプロビジョナデータセットのデータ駆動型分析を通じて特徴工学を最適化し、健全なワークロードの変動や攻撃者による操作に対して耐性を持つ特徴に焦点を当てる。
• サブグラフ説明技術（例：SubgraphX）と統合することで、グラフ内の影響力のある構造を強調し、局所的な解釈性を向上させる。
• 自然言語によるシステム行動の記述をグラフ特徴にマッピングすることができる行動クエリ言語のプロトタイプを開発する。

実験結果

リサーチクエスチョン

• RQ1 解釈可能なグラフ構造的特徴は、システムプロビジョナ分析における複雑なGNNベースのIDSモデルの意思決定論理を効果的に捉えることができるか？
• RQ2 意思決定木のような単純で解釈可能なモデルが、これらの特徴を用いてGNN予測をどれほど高い忠実度で再現できるか？
• RQ3 得られた説明は、サイバーセキュリティ分野で知られている現実世界のシステムレベルの行動や悪意ある行動にどれほど適切にマッピングできるか？
• RQ4 グローバルなサロゲートモデルとサブグラフレベルの説明技術を組み合わせることで、フレームワークがグローバルかつローカルな解釈性をサポートできるか？
• RQ5 ソフトウェアの更新やワークロードの変動といった健全な変化に対して、説明はどれほど頑健か？

主な発見

• ProvExplainerは、汎用的なグラフ構造的特徴を用いて、一般のプログラム分類タスクにおいて、元のGNNモデルに対して95%の忠実度で意思決定木のサロゲートモデルを達成した。
• マルウェア検出に特化した特徴パッケージを用いることで、サロゲートモデルの忠実度は99%にまで上昇し、GNNの意思決定境界と高い整合性を示した。
• 3つのマルウェアファミリーに属する5つの実世界のマルウェアサンプルを対象とした事例研究により、ProvExplainerが生成した説明が、プロセスチェーンやファイル/ソケットの相互作用といった悪意あるサブグラフパターンを正確に特定していることが確認された。
• このフレームワークは、抽象的なGNN意思決定を、具体的で人間が読み取れるシステムレベルの行動の記述（例：低レベルのプロセスの近接性中心性、非ゼロのソケット次数中心性）にマッピングに成功した。これらは悪意ある行動を示す兆候である。
• セキュリティ意味論に基づいたグラフ特徴の使用により、ドメインスペシャリストが検出結果を自信をもって解釈・検証でき、トライエージや対応ワークフローの改善が図られた。
• ProvExplainerはモデルに依存せず、任意のブラックボックスプロビジョナベースのIDSと連携可能であり、下位のGNNモデルのアーキテクチャにアクセスせずに説明生成が可能である。