[论文解读] The Panacea Threat Intelligence and Active Defense Platform

Adam Dalton, Ehsan Aghaei+14 more|arXiv (Cornell University)|Apr 20, 2020

Topic Modeling参考文献 31被引用 5

一句话总结

Panacea 是一种基于自然语言处理（NLP）的主动防御平台，通过对话机器人与攻击者互动以识别其身份并浪费其时间，从而检测和应对社会工程学攻击。该平台在好友/敌友分类中实现了 90% 的准确率，并能维持平均 5 轮的类人对话，在独立评估中人类相似度得分为 1.9/3。

ABSTRACT

We describe Panacea, a system that supports natural language processing (NLP) components for active defenses against social engineering attacks. We deploy a pipeline of human language technology, including Ask and Framing Detection, Named Entity Recognition, Dialogue Engineering, and Stylometry. Panacea processes modern message formats through a plug-in architecture to accommodate innovative approaches for message analysis, knowledge representation and dialogue generation. The novelty of the Panacea system is that uses NLP for cyber defense and engages the attacker using bots to elicit evidence to attribute to the attacker and to waste the attacker's time and resources.

研究动机与目标

• 开发一种主动防御系统，通过使用基于 NLP 的对话机器人与对手互动，以应对社会工程学攻击。
• 通过战略性对话从攻击者处提取可追溯的证据（例如身份、位置、财务信息）。
• 利用 NLP 组件在消息分析和对话生成中提升检测准确率并减少误报。
• 在网络安全防御背景下实现 F3EAD 威胁情报周期（发现、定位、终结、利用、分析、分发）的实战化应用。
• 通过插件式扩展支持，实现在多种通信格式和威胁场景下的实际部署。

提出的方法

• 系统采用 NLP 组件流水线：询问与框架检测、命名实体识别、对话工程和风格分析，用于消息分析。
• 采用插件式架构处理现代消息格式，并在不修改核心逻辑的前提下集成新的 NLP 技术。
• 通过分层攻击本体论和本体结构，根据攻击者的动机（例如财务信息、个人信息）指导响应生成。
• 对话状态管理器基于询问/框架分析和动机检测，在耗时策略与信息收集策略之间进行选择。
• 响应通过模板化方法生成，与 F3EAD 阶段保持一致，尤其聚焦于发现、终结和利用阶段。
• 知识图谱用于存储提取的情报，支持持久化分析和跨攻击事件的上下文关联。

实验结果

研究问题

• RQ1 如何利用 NLP 主动与社会工程学攻击者互动并提取可追溯的证据？
• RQ2 对话机器人在保持高检测准确率的同时，能在多大程度上维持类人对话？
• RQ3 基于插件的 NLP 流水线能否有效支持实时消息分析和自适应响应生成？
• RQ4 将 F3EAD 威胁情报周期整合到主动防御中，如何提升对社会工程学攻击的防御能力？
• RQ5 基于 NLP 的主动防御在减少误报和提升攻击者可追溯性方面表现如何？

主要发现

• 消息分析模块通过分析邮件头和内容，实现了约 90% 的准确率，用于将消息分类为好友、敌方或未知。
• 对话模块与攻击者维持了平均 5 轮对话，展示了持续互动的能力。
• 独立评估者对机器人人类相似度的评分为 1.9/3，是 DARPA ASED 计划评估中所有竞争系统中的最高分。
• 系统成功识别出边界情况消息（未知类别），并利用其触发额外信息请求，提升了检测深度。
• 插件式架构实现了 NLP 组件的模块化集成，无需修改核心系统，支持可扩展性和实际应用适应性。
• 该平台在提取攻击者动机和生成与上下文一致的响应方面表现出色，且响应与 F3EAD 威胁情报周期高度契合。