[论文解读] Ask Me Anything: A Conversational Interface to Augment Information Security Workers

Bobby Filar, Richard J. Seymour+1 more|arXiv (Cornell University)|Jul 18, 2017

Persona Design and Applications参考文献 7被引用 3

一句话总结

本文介绍了 Artemis，一种用于终端检测与响应（EDR）工具的对话式人工智能接口，使安全分析师——尤其是初级或经验不足的用户——能够使用自然语言查询和分析威胁数据。通过利用自然语言处理（NLP）将多样的用户术语映射到标准搜索术语，并引导用户完成分析与狩猎工作流，Artemis 减少了对复杂查询语言的依赖，提升了可访问性，最终降低了认知负荷并加快了威胁响应速度。

ABSTRACT

Security products often create more problems than they solve, drowning users in alerts without providing the context required to remediate threats. This challenge is compounded by a lack of experienced personnel and security tools with complex interfaces. These interfaces require users to become domain experts or rely on repetitive, time consuming tasks to turn this data deluge into actionable intelligence. In this paper we present Artemis, a conversational interface to endpoint detection and response (EDR) event data. Artemis leverages dialog to drive the automation of complex tasks and reduce the need to learn a structured query language. Designed to empower inexperienced and junior security workers to better understand their security environment, Artemis provides an intuitive platform to ask questions of alert data as users are guided through triage and hunt workflows. In this paper, we will discuss our user-centric design methodology, feedback from user interviews, and the design requirements generated upon completion of our study. We will also present core functionality, findings from scenario-based testing, and future research for the Artemis platform.

研究动机与目标

• 通过为 EDR 工具创建更易访问的界面，应对日益增长的熟练信息安全专业人才短缺问题。
• 减少因安全运营中心（SOC）中数据泛滥导致的警报疲劳和认知过载。
• 通过用自然语言交互替代复杂的查询语言，降低新手分析师的入门门槛。
• 通过自适应、上下文感知的对话，同时支持新手和专家用户，引导威胁分析与狩猎工作流。
• 采用以用户为中心的设计方法，捕捉真实世界分析师的工作流程，并将反馈整合到平台核心功能中。

提出的方法

• 在包括红队/蓝队和传统 SOC 在内的多样化安全团队中开展用户访谈和观察研究，以理解工作流程和痛点。
• 采用以用户为中心的设计方法，分为三个阶段：探索、概念设计和原型设计/用户测试。
• 实现一种对话式接口，利用自然语言处理技术和实体分类，将自然语言输入映射到标准搜索术语。
• 设计系统以支持上下文切换并保持分析流程的连贯性，通过保留对话状态和意图实现。
• 应用鲁棒性原则（Postel 法则），接受用户使用的多样化术语（例如，“box”、“machine”、“endpoint”），并将其映射到统一的规范词汇表。
• 提供 API 以支持未来与 Slack、Cortana 等聊天平台的集成，并支持主动学习以实现模型的持续优化。

实验结果

研究问题

• RQ1 对话式接口如何减轻不熟悉安全分析的初级分析师在 EDR 数据分析中的认知和技术负担？
• RQ2 哪些设计模式和 NLP 策略能够有效实现自然语言查询与复杂安全数据操作之间的映射？
• RQ3 对话式系统如何在威胁分析与狩猎工作流中同时支持新手用户和资深分析师？
• RQ4 在安全运营中，哪些协作机制最有效地促进调查共享并保持团队协作一致性？
• RQ5 哪些反馈机制能够提升安全特定场景下自然语言理解的准确性和适应性？

主要发现

• 对话式接口显著减少了用户学习复杂查询语言的需求，实现了对 EDR 数据更快捷、更直观的访问。
• 用户能够使用多样化的术语（如“box”、“machine”、“endpoint”）表达查询意图，系统成功将其映射到标准术语集，提升了可用性。
• 系统在上下文切换期间保持了分析流程的连贯性，最大限度减少了对用户威胁调查过程的干扰。
• 用户对协作功能表现出强烈兴趣，尤其是通过 @ 团队成员共享调查并接收通知的功能。
• 平台的 API 支持与外部聊天系统集成，为未来基于聊天的安全工作流铺平了道路。
• 主动学习反馈机制（如点赞/点踩或性能评分）被证实是提升 NLP 模型长期准确性的可行方法。