[论文解读] Explainable Security

Luca Viganò, Daniele Magazzeni|arXiv (Cornell University)|Jul 11, 2018

Adversarial Robustness in Machine Learning被引用 2

一句话总结

本文提出了可解释安全（XSec），这是一种受DARPA的XAI计划启发的新范式，旨在解决安全系统对不同利益相关者而言透明度、可信度和可理解性不足的问题。该文提出了一种基于‘六大问题’（谁、什么、何处、何时、为何、如何）的框架，以指导对安全属性、威胁、漏洞和对策的解释研究，同时在解释的完整性与安全风险之间取得平衡。

ABSTRACT

The Defense Advanced Research Projects Agency (DARPA) recently launched the Explainable Artificial Intelligence (XAI) program that aims to create a suite of new AI techniques that enable end users to understand, appropriately trust, and effectively manage the emerging generation of AI systems. In this paper, inspired by DARPA's XAI program, we propose a new paradigm in security research: Explainable Security (XSec). We discuss the ``Six Ws'' of XSec (Who? What? Where? When? Why? and How?) and argue that XSec has unique and complex characteristics: XSec involves several different stakeholders (i.e., the system's developers, analysts, users and attackers) and is multi-faceted by nature (as it requires reasoning about system model, threat model and properties of security, privacy and trust as well as about concrete attacks, vulnerabilities and countermeasures). We define a roadmap for XSec that identifies several possible research directions.

研究动机与目标

• 通过引入一种新研究范式——可解释安全（XSec），解决现代安全系统中理解与信任方面的关键缺口。
• 识别并结构化涉及开发人员、用户、攻击者和分析人员等多方利益相关者的复杂、多维度的安全解释特性。
• 通过分析安全解释的‘六大问题’（谁、什么、何处、何时、为何、如何），为XSec建立研究路线图。
• 探讨在对抗性环境中，解释完整性与信息泄露之间的权衡。
• 整合可解释人工智能（XAI）、形式化方法和社会科学的洞见，以构建可解释、可信且安全的系统。

提出的方法

• 基于‘六大问题’提出概念性框架，系统性地分析和结构化安全解释。
• 适应并扩展可解释人工智能（XAI）技术至安全场景，包括系统行为、威胁和对策的解释。
• 提出需要采用‘相对化’解释，以隐藏敏感细节，防止信息泄露给攻击者。
• 强调使用形式化语言、证明、计划和游戏化模型，向不同利益相关者传达安全推理。
• 提出通过用户研究评估解释质量、心智模型理解程度和任务表现的评估方法。
• 强调在设计、测试和部署解释过程时，必须将安全权衡纳入考量。

实验结果

研究问题

• RQ1 如何结构化安全解释，以满足开发人员、用户、分析人员和攻击者等多样化利益相关者的需求？
• RQ2 以多维度方式解释安全属性、威胁、漏洞和对策的关键特征与挑战是什么？
• RQ3 如何使解释既具有信息量又具备安全性，避免向潜在攻击者泄露敏感信息？
• RQ4 形式化方法、游戏化和用户研究在设计有效安全解释中分别发挥什么作用？
• RQ5 如何通过解释弥合现实系统中‘实际安全’与‘感知安全’之间的差距？

主要发现

• 可解释安全（XSec）是一种新颖且复杂的范式，将XAI扩展至安全领域，要求在多方利益相关者和系统多方面上开展整体性研究。
• 安全解释必须经过仔细的相对化处理，以避免泄露可能帮助攻击者的信息，这在透明度与安全性之间形成了关键权衡。
• 对安全决策（如数据库查询拒绝）提供解释可增强用户信任与可用性，但必须设计得避免暴露攻击面细节。
• 形式化证明、攻击模拟和游戏化模型是向非专家用户和分析人员有效传达安全推理的有力工具。
• 用户研究对于评估解释质量、用户满意度以及通过解释形成的心智模型准确性至关重要。
• 将XAI技术与安全研究相结合具有广阔前景，但需要开发新方法以应对对抗性环境和信息泄露风险。