[论文解读] Automated Speech Generation from UN General Assembly Statements: Mapping Risks in AI Generated Texts

Joseph Aylett-Bullock, Miguel Luengo-Oroz|arXiv (Cornell University)|Jun 5, 2019

Topic Modeling参考文献 11被引用 13

一句话总结

本文展示了在联合国大会演讲数据上微调 AWD-LSTM 语言模型以生成高度逼真、具有政治敏感性的文本的可行性，风格仿照世界领导人。研究发现，此类模型可生成连贯、符合语境的发言，包括在争议性话题上的内容，凸显了AI生成虚假信息、冒名顶替和仇恨言论的严重风险，可能对全球和平与人权造成影响。

ABSTRACT

Automated text generation has been applied broadly in many domains such as marketing and robotics, and used to create chatbots, product reviews and write poetry. The ability to synthesize text, however, presents many potential risks, while access to the technology required to build generative models is becoming increasingly easy. This work is aligned with the efforts of the United Nations and other civil society organisations to highlight potential political and societal risks arising through the malicious use of text generation software, and their potential impact on human rights. As a case study, we present the findings of an experiment to generate remarks in the style of political leaders by fine-tuning a pretrained AWD- LSTM model on a dataset of speeches made at the UN General Assembly. This work highlights the ease with which this can be accomplished, as well as the threats of combining these techniques with other technologies.

研究动机与目标

• 调查利用在联合国大会演讲上微调的语言模型生成具有政治真实感的文本的难易程度与可行性。
• 评估自动化文本生成在国际政治话语中带来的风险，特别是虚假信息、冒名顶替和仇恨言论。
• 强调AI生成内容被恶意用于破坏政治稳定与人权的潜在风险。
• 为科学界和政策制定者提供切实可行的建议，以减轻与AI生成文本相关的风险。
• 提高对AI生成政治内容在规模与逼真度方面的认识，特别是在全球治理与多边机构背景下的影响。

提出的方法

• 在 1970 至 2015 年间共 7,507 篇联合国大会演讲的语料库上，对在 Wikitext-103 上预训练的 AWD-LSTM 语言模型进行微调。
• 通过将演讲拆分为 283,593 个段落、去除噪声并使用 spaCy 进行分词，对语料库进行预处理。
• 通过以话题提示或部分句子作为‘种子’，让模型自动补全至 2–5 句（50–100 个词）来生成文本。
• 在三种情境下评估模型性能：最小输入（仅话题种子）、联合国秘书长发言的自动补全，以及在敏感议题上的离题论述。
• 采用归纳迁移学习，利用已有的语言知识，降低训练复杂度与资源需求。
• 专注于生成正式、外交风格的文本，以反映真实政治演讲的语气与结构。

实验结果

研究问题

• RQ1 微调后的语言模型在多大程度上能够生成连贯且风格准确的政治言论，模仿联合国大会发言人的口吻？
• RQ2 在敏感或争议性话题上，生成模仿真实领导人的AI政治内容存在哪些风险？
• RQ3 此类模型在多大程度上可被个人或组织轻松部署，以大规模制造虚假信息或仇恨言论？
• RQ4 AI生成的文本对政治稳定、人权以及多边外交中机构信任力有何影响？
• RQ5 需要哪些技术和政策手段来检测、监控并遏制AI生成政治内容的传播？

主要发现

• 微调后的 AWD-LSTM 模型成功在包括核裁军与国际合作在内的各类话题上生成了连贯且风格恰当的政治言论。
• 模型生成的文本在语气与结构上与人类撰写的演讲无异，即使输入极少，也展现出高度的逼真度。
• 模型在仇恨言论与政治冲突等敏感话题上生成了合理且语境相关的文本，凸显了被滥用的风险。
• 本研究证实，训练高质量、领域特定的语言模型所需资源极少，使个体行为者也能轻松实现。
• 结果凸显了AI生成内容可能被用于协调一致的虚假信息活动，包括合成媒体与假新闻传播。
• 研究结果强调了迫切需要建立系统性监控机制、监管框架以及跨部门协作，以应对AI生成政治文本带来的风险。