[论文解读] A Cost Analysis of Generative Language Models and Influence Operations

Micah Musser|arXiv (Cornell University)|Aug 7, 2023

Software Engineering Research被引用 5

一句话总结

本文建模了使用大型语言模型（LLMs）进行影响力行动的经济成本，表明即使可靠性较低的LLMs（低至25%准确率）也能将内容生成成本相比人工创作降低多达70%。研究发现，若存在开源替代品，对API可访问模型的监控控制措施的威慑力有限；此外，国家行为体在开展虚假信息行动时，通过训练定制化LLMs也难以获得显著的经济收益。

ABSTRACT

Despite speculation that recent large language models (LLMs) are likely to be used maliciously to improve the quality or scale of influence operations, uncertainty persists regarding the economic value that LLMs offer propagandists. This research constructs a model of costs facing propagandists for content generation at scale and analyzes (1) the potential savings that LLMs could offer propagandists, (2) the potential deterrent effect of monitoring controls on API-accessible LLMs, and (3) the optimal strategy for propagandists choosing between multiple private and/or open source LLMs when conducting influence operations. Primary results suggest that LLMs need only produce usable outputs with relatively low reliability (roughly 25%) to offer cost savings to propagandists, that the potential reduction in content generation costs can be quite high (up to 70% for a highly reliable model), and that monitoring capabilities have sharply limited cost imposition effects when alternative open source models are available. In addition, these results suggest that nation-states -- even those conducting many large-scale influence operations per year -- are unlikely to benefit economically from training custom LLMs specifically for use in influence operations.

研究动机与目标

• 评估宣传者在大规模影响力行动中采用LLMs的经济激励。
• 评估使用LLMs与人工内容创作相比的成本节约，特别是在不同模型可靠性及内容筛选要求下的情况。
• 分析对API可访问LLMs实施监控控制作为政策干预措施的经济影响。
• 确定国家行为体在开展影响力行动时，训练定制化LLMs是否具有经济优势。

提出的方法

• 本研究构建了一个成本模型，比较三种内容生成策略：人工创作、API可访问LLMs和开源LLMs。
• 采用代数解法推导LLMs在经济上优于人力劳动或替代模型的临界性能水平。
• 模型整合了边际成本（如人工成本、检测惩罚、内容筛选时间）和固定成本（如LLM训练或微调成本）。
• 关键方程（如式6–10）用于计算盈亏平衡性能、检测阈值以及模型投资的最小可行行动规模。
• 采用蒙特卡洛估计方法，通过在不同参数值下模拟验证结果，相关代码已公开发布于GitHub。

实验结果

研究问题

• RQ1 LLM需达到何种可靠性水平，才能在影响力行动中实现相比人工创作的内容生成成本节约？
• RQ2 当存在开源替代品时，对API可访问LLMs实施的监控控制措施在遏制恶意使用方面的有效性如何？
• RQ3 宣传者投资训练定制化LLM的最小可行行动规模是多少？
• RQ4 在何种条件下，国家行为体能从为影响力行动训练专有LLMs中获得经济收益？

主要发现

• 即使可靠性低至25%的LLMs，也能为宣传者带来成本节约，使其在虚假信息行动中具备经济可行性。
• 高可靠性LLMs（如90%准确率）相比人工创作，可将内容生成成本降低最多达70%。
• 当存在开源模型时，对API可访问LLMs的监控控制措施威慑效果有限，因操作者可转向成本更低、未受监控的替代方案。
• 即使年行动频次很高，国家行为体在开展大规模影响力行动时，也难以通过训练定制化LLMs获得显著的经济收益。
• 阻止使用API可访问LLMs所需的最低检测率取决于模型性能以及是否存在备用选项（包括开源模型）。
• 投资定制化LLM的最小可行行动规模取决于模型性能、固定成本以及现有替代方案的成本效益。