[论文解读] Fundamentals of Generative Large Language Models and Perspectives in Cyber-Defense

Andrei Kucharavy, Z. M. Schillaci+7 more|arXiv (Cornell University)|Mar 21, 2023

Artificial Intelligence in Healthcare and Education被引用 23

一句话总结

本论文回顾生成语言模型的历史、原理、能力、局限、威胁及防御策略，聚焦于瑞士的作战环境中的网络防御含义，并讨论未来前景。

ABSTRACT

Generative Language Models gained significant attention in late 2022 / early 2023, notably with the introduction of models refined to act consistently with users' expectations of interactions with AI (conversational models). Arguably the focal point of public attention has been such a refinement of the GPT3 model -- the ChatGPT and its subsequent integration with auxiliary capabilities, including search as part of Microsoft Bing. Despite extensive prior research invested in their development, their performance and applicability to a range of daily tasks remained unclear and niche. However, their wider utilization without a requirement for technical expertise, made in large part possible through conversational fine-tuning, revealed the extent of their true capabilities in a real-world environment. This has garnered both public excitement for their potential applications and concerns about their capabilities and potential malicious uses. This review aims to provide a brief overview of the history, state of the art, and implications of Generative Language Models in terms of their principles, abilities, limitations, and future prospects -- especially in the context of cyber-defense, with a focus on the Swiss operational environment.

研究动机与目标

• 总结基于软注意力的生成型LLM的历史与核心原理及其演化。
• 评估GPT家族及其他基础LLM的能力、局限性与出现性行为。
• 概述与国家/组织防御情境相关的网络安全威胁与保护性缓解措施，特别是瑞士。
• 突出在网络防御环境中部署、监控与治理LLMs的实际考虑因素。

提出的方法

• 调查基于 Transformer 的 LLM 的演变以及从 RNN 到注意力机制的转变。
• 描述自回归与自编码训练范式及其对生成与理解的影响。
• 描述采样策略（最大似然、束搜索、Top-K、Top-p）及其对输出多样性与质量的影响。
• 讨论用于安全输出的过滤策略（微调、引导采样、隐式前置提示、自我引导生成）。
• 解释记忆化与泛化，以及作为安全考虑的模型红队测试。
• 总结GPT家族的谱系（GPT-1 到 GPT-3.5）以及 BingGPT/GPT-4 的发展及其对网络防御的影响。

实验结果

研究问题

• RQ1 现代生成型LLM的基本原理与历史里程碑是什么？
• RQ2 GPT家族及相关LLMs的关键能力与局限性是什么，这些如何影响网络防御的用例？
• RQ3 在网络安全情境下，LLMs 会带来哪些威胁与攻击向量，哪些缓解策略是有效的？
• RQ4 在瑞士/网络防御环境中，LLM 部署的防御深度、治理与运营实践应如何设计？
• RQ5 生成型LLMs 的短期发展与采用轨迹有哪些可行性？

主要发现

• LLMs 在连续嵌入空间中运作，依赖概率化的标记轨迹而非离散词。
• 基于 Transformer 的架构支持全并行训练，并推动模型规模与数据使用的指数级增长。
• 采样策略（top-p、top-K）在多样性与连贯性之间取得平衡，并可缓解输出退化。
• 缓解措施包括具有安全目标的微调、批评者引导采样，以及预设提示以引导输出远离不良内容。
• 记忆化与泛化仍然是关键问题；训练数据可能被记忆化，应被视为并非完全可信。
• BingGPT/GPT-4 引入诸如搜索和多模态处理等辅助能力，标志着从纯自回归生成向工具增强推理的转变。