[論文レビュー] Explainable Security

Luca Viganò, Daniele Magazzeni|arXiv (Cornell University)|Jul 11, 2018

Adversarial Robustness in Machine Learning被引用数 2

ひとこと要約

本論文は、DARPAのXAIプログラムにインspiredされた、説明可能セキュリティ（XSec）という新しいパラダイムを提唱し、多様なステークホルダーに対してセキュリティシステムの透明性、信頼性、理解可能性を高める課題に対処する。説明の完全性とセキュリティリスクの両立を図りながら、セキュリティ特性、脅威、脆弱性、対策の説明をガイドするための『6W（誰が、何が、どこで、いつ、なぜ、どのように）』に基づくフレームワークを提案する。

ABSTRACT

The Defense Advanced Research Projects Agency (DARPA) recently launched the Explainable Artificial Intelligence (XAI) program that aims to create a suite of new AI techniques that enable end users to understand, appropriately trust, and effectively manage the emerging generation of AI systems. In this paper, inspired by DARPA's XAI program, we propose a new paradigm in security research: Explainable Security (XSec). We discuss the ``Six Ws'' of XSec (Who? What? Where? When? Why? and How?) and argue that XSec has unique and complex characteristics: XSec involves several different stakeholders (i.e., the system's developers, analysts, users and attackers) and is multi-faceted by nature (as it requires reasoning about system model, threat model and properties of security, privacy and trust as well as about concrete attacks, vulnerabilities and countermeasures). We define a roadmap for XSec that identifies several possible research directions.

研究の動機と目的

• 現代のセキュリティシステムにおける理解と信頼のギャップを解消するため、説明可能セキュリティ（XSec）という新しい研究パラダイムを導入すること。
• 開発者、ユーザー、攻撃者、アナリストを含む多様なステークホルダーが関与する、複雑で多面的なセキュリティ説明の性質を特定・構造化すること。
• セキュリティ説明の『6W』（誰が、何が、どこで、いつ、なぜ、どのように）を分析することで、XSecの研究ロードマップを確立すること。
• 特に敵対的文脈において、説明の完全性と情報漏洩のトレードオフを明らかにすること。
• XAI、形式的技法、社会科学の知見を統合し、説明可能で信頼性があり、安全なシステムを構築すること。

提案手法

• セキュリティ説明を体系的かつ構造的に分析するため、『6W』に基づく概念的フレームワークを提案する。
• 説明可能AI（XAI）の技術をセキュリティ文脈に適応・拡張し、システム動作、脅威、対策の説明を可能にする。
• 攻撃者への情報漏洩を防ぐために、機密情報を伏せる『相対化された』説明の必要性を提唱する。
• 異なるステークホルダーにセキュリティ的推論を伝えるために、形式的言語、証明、計画、ゲーム化モデルの活用を強調する。
• 説明の質、メンタルモデルの理解、タスク遂行性を測定するためのユーザースタディを含む評価手法を提案する。
• 説明プロセスの設計・テスト・展開において、セキュリティ的トレードオフを常に考慮する重要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 開発者、ユーザー、アナリスト、攻撃者といった多様なステークホルダーに適した、セキュリティ説明をどのように構造化できるか。
• RQ2 セキュリティ特性、脅威、脆弱性、対策を、多面的かつ包括的に説明する際の主な特徴と課題は何か。
• RQ3 説明が情報量が多くても、攻撃者への情報漏洩を回避するにはどうすればよいか。
• RQ4 形式的技法、ゲーム化、ユーザースタディが、効果的なセキュリティ説明を設計するうえで果たす役割は何か。
• RQ5 実世界のシステムにおいて、『実際のセキュリティ』と『認識されたセキュリティ』のギャップを説明によって埋めることは可能か。

主な発見

• 説明可能セキュリティ（XSec）は、XAIをセキュリティ分野に拡張する画期的で複雑なパラダイムであり、複数のステークホルダーとシステムの多様な側面をカバーする包括的な研究プログラムを要する。
• 攻撃者に有利に働く情報の漏洩を防ぐために、セキュリティ説明は慎重に相対化される必要があり、透明性とセキュリティの間の主要なトレードオフを生じさせる。
• データベースにおけるクエリ拒否の意思決定に説明を提供することで、ユーザーの信頼と使いやすさが向上するが、攻撃表面の詳細を明らかにしないために、設計に注意を要する。
• 形式的証明、攻撃シミュレーション、ゲーム化モデルは、非専門家ユーザーおよびアナリストにセキュリティ的推論を効果的に伝えるための有効なツールである。
• 説明の質、ユーザー満足度、説明に基づいて形成されるメンタルモデルの正確性を評価するため、ユーザースタディは不可欠である。
• XAI技術とセキュリティ研究を統合することは有望な道筋を示すが、敵対的文脈と情報漏洩リスクに対応するための新しい手法の開発が不可欠である。