[論文レビュー] Explainable Artificial Intelligence and Cybersecurity: A Systematic Literature Review

Carlos Rafael Borges Mendes, Tatiane Nogueira Rios|arXiv (Cornell University)|Feb 27, 2023

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本システマティックレビューでは、サイバーセキュリティ分野における説明可能なAI（XAI）技術を調査し、インシデント検出、マルウェア分類、異常検出の分野で、モデル意思決定を説明するうえで最も効果的な手法としてLIME、SHAP、サリエンシーマップを特定した。研究では、解釈可能性と忠実度の観点から、後処理手法（post-hoc methods）のLIMEやSHAPが広く採用されていることが明らかになったが、計算コストやモデル固有の制限といった課題が依然として存在する。

ABSTRACT

Cybersecurity vendors consistently apply AI (Artificial Intelligence) to their solutions and many cybersecurity domains can benefit from AI technology. However, black-box AI techniques present some difficulties in comprehension and adoption by its operators, given that their decisions are not always humanly understandable (as is usually the case with deep neural networks, for example). Since it aims to make the operation of AI algorithms more interpretable for its users and developers, XAI (eXplainable Artificial Intelligence) can be used to address this issue. Through a systematic literature review, this work seeks to investigate the current research scenario on XAI applied to cybersecurity, aiming to discover which XAI techniques have been applied in cybersecurity, and which areas of cybersecurity have already benefited from this technology.

研究の動機と目的

• サイバーセキュリティ分野に応用されたXAI研究の現状を調査すること。
• サイバーセキュリティ応用分野で最も一般的に使用されているXAI技術を特定すること。
• 実世界のサイバー防御シナリオにおけるXAI手法の有効性と制限を分析すること。
• AI駆動のセキュリティシステムにおける信頼性、デバッグ、意思決定の向上にXAIがどのように寄与するかを評価すること。
• XAIのサイバーセキュリティ分野への導入におけるギャップと課題を特定することで、今後の研究のためのロードマップを提示すること。

提案手法

• PRISMAガイドラインに従い、関連する研究を同定するためのシステマティックレビュー（SLR）を実施した。
• XAIとサイバーセキュリティに関連するキーワードを用いて学術データベースを検索し、厳密な含む／除外基準を適用した。
• XAI技術を内在的（例：決定木）と後処理（例：LIME、SHAP、サリエンシーマップ）の2つに分類した。
• インシデント検出、マルウェア分類、異常検出などの応用分野に基づき、研究を分析した。
• 理解しやすさ、忠実度、十分性、計算オーバーヘッドの観点からXAI手法を評価した。
• 52件の研究から得られた知見を統合し、トレンド、制限、実務的インパクトを評価した。

実験結果

リサーチクエスチョン

• RQ1 XAI技術の中で、サイバーセキュリティ研究で最も頻繁に使用されているのはどれか？
• RQ2 インシデント検出、マルウェア分類などのサイバーセキュリティ分野において、XAI技術が最も効果を発揮するのはどの分野か？
• RQ3 インシデント検出などのセキュリティ応用において、LIME や SHAP といった後処理XAI手法の忠実度と解釈可能性は、どのように比較されるか？
• RQ4 実世界のサイバーセキュリティシステムにXAIを適用するうえでの主な制限と課題は何か？
• RQ5 XAIは、AI駆動のセキュリティ意思決定における信頼性、デバッグ、公平性の向上にどのように寄与するか？

主な発見

• LIMEとSHAPは、特にインシデント検出とマルウェア分類分野で、最も広く使用されている後処理XAI技術である。
• サリエンシーマップやヒートマップベースの説明は、深層学習モデルにおける特徴の重要度を可視化するうえで有効であるが、解釈には分野専門知識が求められる。
• 特にマルウェア検出タスクにおいて、内在的解釈性を備えたランダムフォレストがニューラルネットワークよりも好まれる。
• 統計ベースのXAI手法であるTRUSTは、インシデント検出分野で有望であるが、分布の仮定に敏感であり、過学習を引き起こす可能性がある。
• LIME や SHAP といったXAI技術は、サイバー攻撃予測に影響を与える重要な特徴を特定することで、モデルの透明性を向上させ、脅威の分類支援に寄与する。
• それらの利点にもかかわらず、XAI手法には計算コストの高さ、モデル固有の互換性の欠如（例：LIMEはCNNに適用不可）、解釈の自動化不足といった課題が存在する。