[论文解读] AI-Augmented Surveys: Leveraging Large Language Models and Surveys for Opinion Prediction

J. W. Kim, Byungkyu Lee|arXiv (Cornell University)|May 16, 2023

Computational and Text Analysis Methods被引用 32

一句话总结

该论文在 General Social Survey 上对开源 LLM 进行微调，以个性化意见预测，从而通过问题、信念和时间的嵌入实现填补、回溯预测以及未被询问意见的预测，并结合调查权重进行总体层面的聚合。

ABSTRACT

Large language models (LLMs) that produce human-like responses have begun to revolutionize research practices in the social sciences. We develop a novel methodological framework that fine-tunes LLMs with repeated cross-sectional surveys to incorporate the meaning of survey questions, individual beliefs, and temporal contexts for opinion prediction. We introduce two new emerging applications of the AI-augmented survey: retrodiction (i.e., predict year-level missing responses) and unasked opinion prediction (i.e., predict entirely missing responses). Among 3,110 binarized opinions from 68,846 Americans in the General Social Survey from 1972 to 2021, our models based on Alpaca-7b excel in retrodiction (AUC = 0.86 for personal opinion prediction, $ρ$ = 0.98 for public opinion prediction). These remarkable prediction capabilities allow us to fill in missing trends with high confidence and pinpoint when public attitudes changed, such as the rising support for same-sex marriage. On the other hand, our fine-tuned Alpaca-7b models show modest success in unasked opinion prediction (AUC = 0.73, $ρ$ = 0.67). We discuss practical constraints and ethical concerns regarding individual autonomy and privacy when using LLMs for opinion prediction. Our study demonstrates that LLMs and surveys can mutually enhance each other's capabilities: LLMs can broaden survey potential, while surveys can improve the alignment of LLMs.

研究动机与目标

• 动机：在像 GSS 这样的重复横截面调查中预测未测量的公共意见的必要性。
• 提出一个框架，使用问题语义、个人信念嵌入和时间上下文嵌入来个性化 LLM。
• 证明微调后的 LLM 能预测缺失或未被提问的调查回答，并通过调查权重实现代表性的聚合。
• 将该方法与普通的 LLM 和传统插补方法进行对比，展示在不同缺失数据情景下的预测准确性提高。

提出的方法

• 在 1972–2021 年的 3,110 道二值化 GSS 问题上，对 68,846 名个体进行开源 LLM（Alpaca-7b、GPT-J-6b、RoBERTa-large）微调。
• 用三个嵌入表示每个预测：调查问题的语义嵌入、个体信念嵌入和时间段嵌入。
• 使用 Deep Cross Network (DCN) 架构对嵌入之间的高阶交互进行建模，并预测二元回应。
• 在微调期间迭代优化问题语义、个体信念和时期嵌入，以使 LLM 输出与观测到的回答模式对齐。
• 使用调查权重将个体预测聚合到总体水平，以纠正样本偏差。
• 使用 AUC、准确率和 F1 分数，在三种缺失数据任务（插补、回溯、未提问的意见）上进行 10 折交叉验证评估。

实验结果

研究问题

• RQ1 经过微调的 LLM 是否能在全国代表性面板中准确预测未测量问题的个体调查回答？
• RQ2 调查问题、个人信念和时间段的嵌入是否比标准 LLM 提示或传统插补方法有更好的预测？
• RQ3 在不同缺失数据情景（插补、回溯、未提问的意见）以及不同缺失数据机制（MCAR、MAR、MNAR）下，该方法的表现如何？
• RQ4 通过调查权重进行总体层面的聚合是否足以从个性化预测中恢复具有代表性公众意见？

主要发现

• 在所测试的 LLM 中，Alpaca-7b 在所有三个预测任务上成为表现最佳的模型。
• 对于缺失数据插补，最佳模型实现了较强的预测准确性（AUC 约 0.87），在多种缺失数据机制下优于矩阵分解基线。
• 即便数据不是随机缺失（MNAR），该方法相对于矩阵分解仍保持优越的性能。
• 个体信念和调查期上下文的个性化嵌入使模型能够捕捉意见的异质性和时间变化，相对于非个性化基线改进预测。
• 该框架能够对年度级缺失意见进行回溯预测，允许重构历史态度趋势和公众态度的潜在变化（例如同性婚姻问题）。
• 模型评估使用 10 折交叉验证和多指标（AUC、Accuracy、F1），以及通过调查权重进行的总体水平预测。