[论文解读] Language Models Trained on Media Diets Can Predict Public Opinion

Eric Chu, Jacob Andreas+2 more|arXiv (Cornell University)|Mar 28, 2023

Computational and Text Analysis Methods被引用 23

一句话总结

针对特定媒体饮食调整的语言模型可以预测 COVID-19 和消费者信心的调查子群体回答，相关性约为 r=0.46，且对提示和媒体来源具有鲁棒性。

ABSTRACT

Public opinion reflects and shapes societal behavior, but the traditional survey-based tools to measure it are limited. We introduce a novel approach to probe media diet models -- language models adapted to online news, TV broadcast, or radio show content -- that can emulate the opinions of subpopulations that have consumed a set of media. To validate this method, we use as ground truth the opinions expressed in U.S. nationally representative surveys on COVID-19 and consumer confidence. Our studies indicate that this approach is (1) predictive of human judgements found in survey response distributions and robust to phrasing and channels of media exposure, (2) more accurate at modeling people who follow media more closely, and (3) aligned with literature on which types of opinions are affected by media consumption. Probing language models provides a powerful new method for investigating media effects, has practical applications in supplementing polls and forecasting public opinion, and suggests a need for further study of the surprising fidelity with which neural language models can predict human responses.

研究动机与目标

• 提出一种新方法，使用在子群体媒体饮食上训练的语言模型来预测公众意见。
• 证明在媒体内容上进行微调的模型能够预测关于 COVID-19 和消费者信心的调查回答分布。
• 评估对问题改写以及不同媒体来源和关注度水平的鲁棒性。

提出的方法

• 在来自特定来源（在线新闻、电视、广播）的媒体饮食数据集上微调一个基础语言模型（如 BERT）。
• 用从调查问题衍生的填空提示对媒体饮食模型进行探测，并计算目标词的概率。
• 对同义词的概率进行归一化和分组，以导出媒体饮食分数。
• 拟合回归，将媒体饮食分数（以及可选的对新闻的关注度）映射到实际调查回答比例。
• 通过嵌入空间中的最近邻分析将模型预测追溯到训练数据。

实验结果

研究问题

• RQ1 RQ1a：媒体饮食模型是否对调查回答具有预测能力？
• RQ2 RQ1b：是需要预训练的神经模型，还是更简单的模型就足够？
• RQ3 RQ1c：对同义词进行分组在评估媒体饮食时是否必要？
• RQ4 RQ1d：结果对提示改写是否鲁棒？
• RQ5 RQ2：媒体饮食模型是否随对新闻关注度的不同或跨媒体来源而变化？
• RQ6 RQ3：是否有某些主题或问题类型被媒体饮食模型更强地预测？

主要发现

• 媒体饮食分数与调查比例相关（r = 0.458，95% CI [0.350, 0.553]）。
• 使用媒体饮食分数的回归显著地预测调查比例（beta = 0.115，95% CI [0.087, 0.142]）。
• 同义词分组提高相关性（有分组时 r = 0.458；未分组时 r = 0.190）。
• 适应媒体内容的模型优于基线 BERT（仅 BERT 时 r = 0.274；媒体饮食 BERT 时 r = 0.458）。
• 将媒体饮食分数与对新闻的关注度结合可获得更高的预测能力（beta = 0.523，CI [0.164, 0.882]；R2 = 0.3327）。
• 预测能力在在线、电视和广播来源以及不同提示与改写方法下均成立。