[論文レビュー] On the Importance of Domain-specific Explanations in AI-based Cybersecurity Systems (Technical Report)

Jose N. Paredes, Juan Carlos Teze+2 more|arXiv (Cornell University)|Aug 2, 2021

Explainable Artificial Intelligence (XAI)参考文献 35被引用数 7

ひとこと要約

本論文は、サイバーセキュリティ分野における説明可能なAI（XAI）の分野固有の望ましい特性（desiderata）を提唱し、記号的および準記号的AIコンponentsを統合した新規なアーキテクチャを提示し、比較分析を通じて、サイバーセキュリティ文脈に根ざしたカスタマイズされた説明が、脅威検出および対応における人的・AI連携を効果的に行うために不可欠であることを示している。

ABSTRACT

With the availability of large datasets and ever-increasing computing power, there has been a growing use of data-driven artificial intelligence systems, which have shown their potential for successful application in diverse areas. However, many of these systems are not able to provide information about the rationale behind their decisions to their users. Lack of understanding of such decisions can be a major drawback, especially in critical domains such as those related to cybersecurity. In light of this problem, in this paper we make three contributions: (i) proposal and discussion of desiderata for the explanation of outputs generated by AI-based cybersecurity systems; (ii) a comparative analysis of approaches in the literature on Explainable Artificial Intelligence (XAI) under the lens of both our desiderata and further dimensions that are typically used for examining XAI approaches; and (iii) a general architecture that can serve as a roadmap for guiding research efforts towards the development of explainable AI-based cybersecurity systems -- at its core, this roadmap proposes combinations of several research lines in a novel way towards tackling the unique challenges that arise in this context.

研究の動機と目的

• AIを用いたサイバーセキュリティシステムにおける説明可能性の欠如という深刻なギャップに対処し、ユーザーが意思決定の根拠を理解できない状況を是正すること。
• 高品質でタイムリーかつ実行可能である説明を、サイバーセキュリティ文脈において実現するための、分野固有の要件（desiderata）を特定し、形式化すること。
• 記号的推論、自然言語処理（NLP）、議論的推論、オントロジー、ヒューマンコンピュータインタラクション（HCI）といった複数のAI研究分野を統合した、包括的なアーキテクチャフレームワークを提案すること。
• 人的意思決定の支援を目的とした、人間を含めた意思決定プロセスを支援する説明可能なサイバーセキュリティシステムの開発を促進するための今後の研究開発を導くこと。
• 動的で高リスクなサイバー脅威環境という特異な課題に特化したXAIアプローチの評価と改善の基盤を確立すること。

提案手法

• サイバーセキュリティ分野におけるXAIのための6つの望ましい特性（D1–D6）を提唱し、タイムリーさ、ユーザー中心性、追跡可能性、文脈認識性を含む。
• 図3に示す新規なシステムアーキテクチャを構築し、記号的推論、準記号的AI（例：ディープラーニング）、HCI原則を用いた人間を含めたインタラクションを統合する。
• 計算的議論とオントロジー的推論を活用し、分野固有の意味論的構造と論理的構造に基づいた説明を生成する。
• 自然言語処理（NLP）を活用し、技術的なAI出力を人間が読みやすい形に翻訳する。
• データ駆動型モデル（例：ニューラルネットワーク）と知識ベースシステムを統合し、正確さと解釈可能性の両方を兼ね備えた拡張型説明を生成する。
• 時間的ストリーム推論を採用し、進化する脅威分析とリアルタイムの説明提供を支援する。

実験結果

リサーチクエスチョン

• RQ1 AIを用いたサイバーセキュリティシステムにおける高品質な説明の本質的特徴とは何か。そのような説明は、人的意思決定を効果的に支援するために不可欠である。
• RQ2 既存のXAIアプローチは、脅威文脈、緊急性、正確性といったサイバーセキュリティ分野固有の要件をどの程度満たしているか。
• RQ3 説明可能で、相互作用可能かつ信頼性のあるAIを、サイバーセキュリティシステムに実装するために必要なアーキテクチャ的要素は何か。
• RQ4 記号的および準記号的AIコンponentsをどのように統合することで、セキュリティアナリストが理解可能な正確な説明を生成できるか。
• RQ5 ヒューマンコンピュータインタラクション（HCI）、NLP、議論的技法は、サイバーセキュリティ分野におけるAI生成説明の使いやすさと信頼性をどのように向上させ得るか。

主な発見

• 提唱された望ましい特性（D1–D6）は、サイバーセキュリティ分野における説明可能なAIの開発を評価・指針づける包括的なフレームワークを提供し、文脈、タイムリーさ、ユーザーのニーズに重点を置いている。
• 既存のXAIアプローチの比較分析から、脅威文脈、動的推論、サイバーセキュリティ環境におけるユーザーインタラクションといった分野固有の課題に対処する点で顕著な欠落が明らかになった。
• 提案されたアーキテクチャは、記号的推論、議論的推論、オントロジー、NLP、HCIといった複数のAI研究分野を統合し、説明可能で相互作用可能かつ文脈に適した出力を生成できる包括的なシステムを実現している。
• データ駆動型モデルと知識ベースシステムの統合により、モデルの予測結果と論理的根拠を組み合わせた拡張型説明が可能となり、透明性と信頼性が向上した。
• 時間的ストリーム推論は、進化するサイバー脅威に応じたリアルタイムの説明生成を可能にする重要な要因であると特定された。
• 自然言語と構造化されたフィードバックメカニズムを通じて、ユーザーがシステム出力を照合・検証・改善できる仕組みを提供することで、協働的な人間-AI連携を支援する。