[论文解读] Generative Language Models and Automated Influence Operations: Emerging Threats and Potential Mitigations

Josh A. Goldstein, Girish Sastry+4 more|arXiv (Cornell University)|Jan 10, 2023

Topic Modeling被引用 146

一句话总结

该论文评估生成式语言模型如何改变影响行动，并通过 kill-chain 框架调查缓解措施，强调不存在灵丹药式的解决方案，需要集体行动。

ABSTRACT

Generative language models have improved drastically, and can now produce realistic text outputs that are difficult to distinguish from human-written content. For malicious actors, these language models bring the promise of automating the creation of convincing and misleading text for use in influence operations. This report assesses how language models might change influence operations in the future, and what steps can be taken to mitigate this threat. We lay out possible changes to the actors, behaviors, and content of online influence operations, and provide a framework for stages of the language model-to-influence operations pipeline that mitigations could target (model construction, model access, content dissemination, and belief formation). While no reasonable mitigation can be expected to fully prevent the threat of AI-enabled influence operations, a combination of multiple mitigations may make an important difference.

研究动机与目标

• 评估语言模型如何改变在影响行动中的行为者、行为和内容。
• 调查影响活动管线中的潜在威胁和一系列缓解措施。
• 强调关键未知数以及需要协调的政策、技术与社会应对。
• 提供评估缓解措施的框架，并确定研究方向。

提出的方法

• 文献综述和对现有错误信息研究的综合。
• 来自多学科团队的工作坊信息分析。
• 将错误信息的 ABCs（行为者、行为、内容）应用于语言模型。
• 开发一个基于 kill-chain 的缓解框架，覆盖模型构建、访问、内容传播和信念形成。
• 对生成模型进展和获取扩散进行情境化讨论以支撑威胁评估。

实验结果

研究问题

• RQ1 语言模型如何改变从事影响行动的行为者？
• RQ2 语言模型如何改变影响行动中的行为与战术？
• RQ3 语言模型如何影响影响行动中产生的内容及其影响？
• RQ4 哪些缓解措施可以有效降低AI驱动的影响行动在整个管线中的影响？
• RQ5 实施这些缓解措施需要哪些治理与协作机制？

主要发现

• 语言模型在未来可能因易用性、可靠性和效率的提升而对影响行动有帮助。
• 不存在能够完全阻止AI驱动的影响行动的单一缓解措施，需要整社会参与的方法。
• 有效的缓解将需要AI开发者、社交平台、政府和公民社会在行动管线的多个阶段协作。
• 缓解措施应同时解决供给端（模型设计、访问）与需求/传播端（内容来源、媒介素养、平台措施）。
• 最激进的选项（例如互联网溯源标准）将需要极端协调，且可能并非理想；许多缓解措施需要进一步开发与审查。
• 报告强调用框架评估缓解措施并确定进一步研究的方向。