[论文解读] A Comprehensive Overview of Backdoor Attacks in Large Language Models within Communication Networks

Haomiao Yang, Kunlan Xiang+4 more|arXiv (Cornell University)|Aug 28, 2023

Interpreting and Communication in Healthcare被引用 6

一句话总结

本文系统性地梳理了通信网络中大型语言模型（LLMs）的后门攻击，将攻击类型划分为输入触发、提示触发、指令触发和示范触发四类。文章分析了基准数据集，识别出关键的研究空白，并提出了提升网络环境中LLM安全性的未来研究方向。

ABSTRACT

The Large Language Models (LLMs) are poised to offer efficient and intelligent services for future mobile communication networks, owing to their exceptional capabilities in language comprehension and generation. However, the extremely high data and computational resource requirements for the performance of LLMs compel developers to resort to outsourcing training or utilizing third-party data and computing resources. These strategies may expose the model within the network to maliciously manipulated training data and processing, providing an opportunity for attackers to embed a hidden backdoor into the model, termed a backdoor attack. Backdoor attack in LLMs refers to embedding a hidden backdoor in LLMs that causes the model to perform normally on benign samples but exhibit degraded performance on poisoned ones. This issue is particularly concerning within communication networks where reliability and security are paramount. Despite the extensive research on backdoor attacks, there remains a lack of in-depth exploration specifically within the context of LLMs employed in communication networks, and a systematic review of such attacks is currently absent. In this survey, we systematically propose a taxonomy of backdoor attacks in LLMs as used in communication networks, dividing them into four major categories: input-triggered, prompt-triggered, instruction-triggered, and demonstration-triggered attacks. Furthermore, we conduct a comprehensive analysis of the benchmark datasets. Finally, we identify potential problems and open challenges, offering valuable insights into future research directions for enhancing the security and integrity of LLMs in communication networks.

研究动机与目标

• 为解决在通信网络中部署的LLMs后门攻击缺乏系统性分析的问题。
• 识别并分类LLMs在联网环境中特有的新兴后门攻击向量，包括预训练、提示调优、指令调优以及基于示范的微调。
• 分析用于通信场景下LLM后门攻击研究的现有基准数据集。
• 突出显示在检测和防御LLM后门攻击方面尚未解决的挑战与开放性研究问题。
• 通过提出关键研究方向，为未来提升现实网络应用中LLM的安全性与完整性提供指导。

提出的方法

• 提出一种新颖的四类分类法：基于LLM训练与推理流程中攻击面的输入触发、提示触发、指令触发和示范触发后门攻击。
• 分析恶意数据注入在不同阶段的发生机制：预训练阶段（通过污染数据集）、提示调优阶段（通过对抗性提示）、指令调优阶段（通过污染指令）以及少样本示范阶段（通过被操纵的示例）。
• 回顾并整合先前LLM后门攻击研究中使用的基准数据集，重点关注其在通信网络应用中的相关性。
• 研究后门在不同LLM微调过程中的隐蔽性与持久性，尤其是在模型更新和对抗性微调下的表现。
• 评估当前攻击策略在真实世界约束（如加密通信和模型微调）下的可行性与局限性。
• 基于识别出的漏洞，提出未来研究方向，包括设计更隐蔽的触发机制以及拓展至文本分类以外的更广泛任务。

实验结果

研究问题

• RQ1 与传统NLP或计算机视觉场景相比，LLMs在通信网络中使用的后门攻击在表现形式上有哪些不同？
• RQ2 LLMs中存在哪些独特的攻击面——特别是预训练、提示调优、指令调优和基于示范的学习阶段——使得后门能够被注入？
• RQ3 在模型微调或安全通信协议下，当前的后门攻击在多大程度上仍保持有效性？
• RQ4 如何设计触发机制，使其在LLMs中更加隐蔽，难以与自然语言模式区分？
• RQ5 除了文本分类任务外，还有哪些任务容易受到后门攻击的影响？这一认识如何有助于制定更广泛的防御策略？

主要发现

• 当针对预训练或微调阶段时，LLMs中的后门攻击极为有效，污染数据或提示可导致触发输入下一致的恶意行为。
• 输入触发攻击通过在公开可用数据集中注入触发器（如修改文本或标签）来实现，这些数据随后被无意识的开发者用于模型训练。
• 提示触发和指令触发攻击表现出高度隐蔽性与可控性，因其依赖于特定输入模式触发恶意输出，而无需修改模型权重。
• 示范触发攻击通过使用视觉上相似的字符或细微扰动来操纵少样本示例，导致模型学习到错误的行为。
• 当前基准数据集主要集中于文本分类任务，表明在评估LLM在机器翻译、问答等多样化应用场景中的后门漏洞方面存在显著研究空白。
• 后门在微调过程中的持久性仍是挑战，表明防御机制必须考虑模型适应与再训练过程。