[论文解读] Large Language Models as Corporate Lobbyists

John J. Nay|arXiv (Cornell University)|Jan 3, 2023

Sustainable Finance and Green Bonds被引用 5

一句话总结

本文展示了一个概念验证，其中 GPT-3.5（text-davinci-003）作为企业游说者，评估美国国会议案与上市公司的相关性，撰写具有说服力的致议案发起人信件，并提供置信度评分。该模型的表现优于始终预测‘不相关’的基线模型，凸显其在自动化政策影响方面的潜力，尽管也引发了关于人工智能在立法过程中日益增长的作用可能偏离人类意图的担忧。

ABSTRACT

We demonstrate a proof-of-concept of a large language model conducting corporate lobbying related activities. An autoregressive large language model (OpenAI's text-davinci-003) determines if proposed U.S. Congressional bills are relevant to specific public companies and provides explanations and confidence levels. For the bills the model deems as relevant, the model drafts a letter to the sponsor of the bill in an attempt to persuade the congressperson to make changes to the proposed legislation. We use hundreds of novel ground-truth labels of the relevance of a bill to a company to benchmark the performance of the model. It outperforms the baseline of predicting the most common outcome of irrelevance. We also benchmark the performance of the previous OpenAI GPT-3 model (text-davinci-002), which was the state-of-the-art model on many academic natural language tasks until text-davinci-003 was recently released. The performance of text-davinci-002 is worse than the simple baseline. Longer-term, if AI begins to influence law in a manner that is not a direct extension of human intentions, this threatens the critical role that law as information could play in aligning AI with humans. Initially, AI is being used to simply augment human lobbyists for a small portion of their daily tasks. However, firms have an incentive to use less and less human oversight over automated assessments of policy ideas and the written communication to regulatory agencies and Congressional staffers. The core question raised is where to draw the line between human-driven and AI-driven policy influence.

研究动机与目标

• 探究大语言模型是否能够自主执行企业游说任务，例如识别相关立法并撰写具有说服力的信函。
• 对 GPT-3.5（text-davinci-003）和早期 GPT-3（text-davinci-002）在企业游说相关性分类与信件生成任务上的表现进行基准测试。
• 探讨人工智能驱动的政策影响对民主问责制的影响，以及人工智能与人类价值观对齐的问题。
• 建立一个包含 100 多个真实标签的新型数据集，用于衡量议案与公司之间的相关性。
• 评估人工智能系统在不反映人类意图的情况下影响立法的风险。

提出的方法

• 微调 GPT-3.5（text-davinci-003）以判断美国国会议案是否与特定上市公司相关，输出相关性评分和置信度。
• 采用 few-shot 提示策略，引导模型撰写具有说服力的信件，致送议案发起人，倡导对拟议立法进行修改。
• 构建了一个包含 100 多个真实标签的定制数据集，用于评估模型在议案-公司相关性上的表现。
• 将模型表现与始终预测‘不相关’（即最常见结果）的基线模型进行对比。
• 在相同基准任务上评估 text-davinci-003 和更早的 text-davinci-002 模型的表现。
• 采用零样本和 few-shot 推理策略，评估模型的泛化能力与说服性写作质量。

实验结果

研究问题

• RQ1 大语言模型能否准确判断某项美国国会议案是否与特定上市公司相关？
• RQ2 该模型能否生成具有说服力、符合语境的信件，致送议案发起人，倡导立法修改？
• RQ3 GPT-3.5（text-davinci-003）的表现与始终预测‘不相关’的基线模型相比如何？
• RQ4 text-davinci-003 在这些游说相关任务上的表现与更早的 text-davinci-002 模型相比如何？
• RQ5 人工智能系统在缺乏直接人类监督的情况下日益影响立法，其更广泛的影响是什么？

主要发现

• text-davinci-003 模型的表现优于始终预测‘不相关’的基线模型，表明其在相关性分类任务上具备有意义的预测能力。
• text-davinci-002 模型的表现甚至低于基线模型，表明尽管其在许多 NLP 基准测试中曾是当时的最先进模型，但性能却出现下降。
• 该模型成功生成了连贯且语境相关的致议案发起人信件，表明其在自动化游说沟通部分流程方面具有潜力。
• 本研究建立了一个包含 100 多个真实标签的新型基准数据集，用于衡量议案与公司之间的相关性，为未来评估人工智能在政策相关任务中的表现提供了支持。
• 研究结果引发了对人工智能系统以可能不反映人类意图或民主监督的方式影响立法的长期风险的担忧。
• 研究结果表明，企业可能越来越有动力减少在人工智能辅助政策影响中的人员监督，从而模糊人类主导与人工智能主导游说之间的界限。