[論文レビュー] Don't Paint It Black: White-Box Explanations for Deep Learning in Computer Security.

Alexander Warnecke, Daniel J. Arp+2 more|arXiv (Cornell University)|Jun 5, 2019

Adversarial Robustness in Machine Learning参考文献 39被引用数 6

ひとこと要約

本論文は、マルウェア検出および脆弱性発見を対象として、コンピュータセキュリティ分野におけるホワイトボックス説明手法の評価フレームワークを提案する。セキュリティ特有の基準——完全性、耐性、効率性——を導入し、6つの説明手法を評価することで、顕著な性能差が明らかになり、実務家向けの実行可能な推奨事項が提示される。

ABSTRACT

Deep learning is increasingly used as a building block of security systems. Unfortunately, neural networks are hard to interpret and typically opaque to the practitioner. The machine learning community has started to address this problem by developing methods for explaining the predictions of neural networks. While several of these approaches have been successfully applied in the area of computer vision, their application in security has received little attention so far. It is an open question which explanation methods are appropriate for computer security and what requirements they need to satisfy. In this paper, we introduce criteria for comparing and evaluating explanation methods in the context of computer security. These cover general properties, such as the accuracy of explanations, as well as security-focused aspects, such as the completeness, efficiency, and robustness. Based on our criteria, we investigate six popular explanation methods and assess their utility in security systems for malware detection and vulnerability discovery. We observe significant differences between the methods and build on these to derive general recommendations for selecting and applying explanation methods in computer security.

研究の動機と目的

• 深層学習ベースのセキュリティシステムにおける説明手法の使用が増加している一方で、その系統的な評価が不足しているという問題に対処する。
• 一般の機械学習メトリクスを越えて、セキュリティ特有の基準を特定・定義する。
• 代表的な6つの説明手法——Grad-CAM、LIME、SHAP、Integrated Gradients、Smooth Grad、DeepLIFT——が、実世界のセキュリティ応用に適しているかどうかを評価する。
• マルウェア検出および脆弱性発見のパイプラインにおける、説明手法の選定および適用に関する実行可能な推奨事項を提供する。
• 説明可能AIのコンピュータビジョン分野への応用と、セキュリティが重要な分野への応用とのギャップを埋める。

提案手法

• 著者は、セキュリティ応用に特化した包括的な評価基準——正確性、完全性、効率性、入力の摂動に対する耐性——を定義する。
• これらの基準を用いて、Grad-CAM、LIME、SHAP、Integrated Gradients、Smooth Grad、DeepLIFTの6つのホワイトボックス説明手法を評価する。
• 評価は、深層ニューラルネットワークを用いたマルウェア検出およびソフトウェアバイナリにおける脆弱性発見という2つの実世界のセキュリティタスクで実施される。
• 説明の質は、関連する特徴（例：悪意あるコードパターン）をどれだけ適切に強調できるか、および入力の変化に対して一貫性を保てるかを測定することで評価される。
• フレームワークにより、説明の忠実度、カバー範囲、敵対的ノイズに対する感受性を定量的に比較分析可能となる。
• 得られた結果を基に、処理速度、信頼性、解釈可能性といったシステム要件に基づいた説明手法選定の意思決定マトリクスが導出される。

実験結果

リサーチクエスチョン

• RQ1 マルウェア検出および脆弱性発見における深層学習モデルの説明手法の中で、どの手法が最も正確かつ信頼性の高い説明を提供するか？
• RQ2 完全性という観点から、異なる説明手法は、モデル意思決定に影響を与えるすべての関連特徴を捉えきれているか？
• RQ3 入力の摂動に対して説明手法の耐性はどの程度で、これは敵対的環境下での信頼性にどのように影響するか？
• RQ4 説明手法間での効率性および計算コストの違いは何か？ これにより、リアルタイムセキュリティシステムにどのような影響が生じるか？
• RQ5 セキュリティが重要な応用分野において、忠実度、解釈可能性、耐性のバランスが最も良いのはどの説明手法か？

主な発見

• 評価基準のあらゆる側面において、説明手法の性能に顕著な差が認められ、すべての側面で優れた結果を示す唯一の手法は存在しない。
• Integrated GradientsとSmooth Gradは、LIMEやSHAPと比較して、悪意あるコードパターンの同定においてより高い忠実度と耐性を示した。
• Grad-CAMはバイナリ解析で一般的な微細で空間的でない特徴を捉える能力に限界があり、脆弱性検出における有用性が制限された。
• SHAPおよびLIMEは入力の摂動に対して耐性が低く、敵対的環境下での信頼性に懸念が生じた。
• 本研究では、説明手法が意味的に関連する特徴をどれだけ適切に強調できるかに大きな差が認められ、モデルのデバッグや信頼性に影響を与える可能性があることが明らかになった。
• 評価の結果、信頼性と耐性が求められるセキュリティ応用には、Integrated GradientsまたはSmooth Gradの使用を推奨する。