[论文解读] Generative Social Choice

Sara Fish, Paul Gölz+5 more|arXiv (Cornell University)|Sep 3, 2023

Misinformation and Its ImpactsSocial Sciences被引用 3

一句话总结

本文提出生成式社会选择（generative social choice）框架，将社会选择理论与大型语言模型（LLMs）相结合，实现对开放式、由模型生成的备选项（如政策声明）的民主化偏好聚合，而非固定选项。实验表明，LLMs 能够可靠地生成并表示多样化观点，在一项关于聊天机器人个性化设置的调查中，参与者满意度达到 93%。

ABSTRACT

The mathematical study of voting, social choice theory, has traditionally only been applicable to choices among a few predetermined alternatives, but not to open-ended decisions such as collectively selecting a textual statement. We introduce generative social choice, a design methodology for open-ended democratic processes that combines the rigor of social choice theory with the capability of large language models to generate text and extrapolate preferences. Our framework divides the design of AI-augmented democratic processes into two components: first, proving that the process satisfies representation guarantees when given access to oracle queries; second, empirically validating that these queries can be approximately implemented using a large language model. We apply this framework to the problem of summarizing free-form opinions into a proportionally representative slate of opinion statements; specifically, we develop a democratic process with representation guarantees and use this process to portray the opinions of participants in a survey about abortion policy. In a trial with 100 representative US residents, we find that 84 out of 100 participants feel "excellently" or "exceptionally" represented by the slate of five statements we extracted.

研究动机与目标

• 解决经典社会选择理论在处理开放式、未预期备选项以及刚性偏好获取方式方面的局限性。
• 开发一个兼具社会选择理论数学严谨性与 LLM 生成能力的系统化框架。
• 通过实证验证 LLM 能够近似实现民主过程中代表性保证所必需的理想化查询（oracle queries）。
• 证明在现实世界的意见摘要任务中，LLM 增强的民主过程具有可行性与有效性。
• 通过理论保证与对 LLM 能力的实证验证相结合，确保 AI 增强决策过程的公平性与合法性。

提出的方法

• 将 LLM 增强的民主过程设计分解为两个部分：在理想查询访问条件下理论保证的建立，以及对 LLM 查询近似的实证验证。
• 定义两类关键查询：生成式查询（用于从自由形式意见中生成新的代表性陈述），以及判别式查询（用于在生成的陈述中进行排序或选择）。
• 采用多阶段流程：首先收集参与者的自由形式意见；其次，利用 LLM 通过多样化提示策略生成候选陈述。
• 应用判别式查询，基于参与者观点的共识与多样性，从候选陈述中选出最具代表性的五条陈述。
• 通过后续调查（由一组新参与者完成）验证最终陈述集的代表性，评估其感知代表程度。
• 采用抽样边界与比例性公理（如 BJR）确保在理想化条件下具备理论代表保证。

实验结果

研究问题

• RQ1 社会选择理论能否被拓展以支持对开放式、由模型生成的备选项而非固定选项的集体决策？
• RQ2 大型语言模型在多大程度上能够近似实现民主过程中代表性保证所必需的理想化查询？
• RQ3 LLM 生成的陈述集合在多大程度上能代表自由形式调查中表达出的意见多样性？
• RQ4 基于 LLM 的民主过程在参与者满意度与公平性方面的实证表现如何？
• RQ5 在不牺牲可扩展性的前提下，如何在 LLM 增强的民主系统中保持透明性与合法性？

主要发现

• 该框架成功生成了五条陈述的集合，有效代表了 100 名参与者在聊天机器人个性化调查中表达的多样化观点。
• 100 名参与者中有 93 名表示其观点在最终陈述集中‘大部分’或‘完全’被代表，表明具有极强的实证代表性。
• 判别式查询有效选出了与不同参与者群体偏好一致的陈述，表现为各群体内部评分分布的一致性较高。
• 每个参与者群体均对其指定的陈述表现出明确偏好，证实该陈述集捕捉到了意见中具有意义的异质性。
• 理论代表保证（如 BJR）得到维持，且 LLM 查询近似理想化查询的行为足够好，从而实现了高参与者满意度。
• 尽管部分 LLM 生成的陈述不受欢迎或不够精确，但通过生成多个候选并采用类似投票的选择机制，显著提升了整体鲁棒性。