[论文解读] CommunityLM: Probing Partisan Worldviews from Language Models

Hang Jiang, Doug Beeferman+2 more|arXiv (Cornell University)|Sep 15, 2022

Topic Modeling被引用 9

一句话总结

本文提出了CommunityLM，一种在部分派系的Twitter数据上微调GPT-2语言模型的框架，用于探测民主党与共和党群体的世界观。通过使用ANES调查问题作为提示，该方法生成具有社区特异性的回答，其在预测实际政党立场方面的表现显著优于基线模型，显示出与真实调查数据的高度一致性。

ABSTRACT

As political attitudes have diverged ideologically in the United States, political speech has diverged lingusitically. The ever-widening polarization between the US political parties is accelerated by an erosion of mutual understanding between them. We aim to make these communities more comprehensible to each other with a framework that probes community-specific responses to the same survey questions using community language models CommunityLM. In our framework we identify committed partisan members for each community on Twitter and fine-tune LMs on the tweets authored by them. We then assess the worldviews of the two groups using prompt-based probing of their corresponding LMs, with prompts that elicit opinions about public figures and groups surveyed by the American National Election Studies (ANES) 2020 Exploratory Testing Survey. We compare the responses generated by the LMs to the ANES survey results, and find a level of alignment that greatly exceeds several baseline methods. Our work aims to show that we can use community LMs to query the worldview of any group of people given a sufficiently large sample of their social media discussions or media diet.

研究动机与目标

• 开发一种可扩展、灵活的框架，利用在公开话语上训练的语言模型探测社区特定的世界观。
• 探究微调后的语言模型是否能准确反映社区对公众人物和社会群体的政党态度。
• 将CommunityLM的性能与基线方法（包括预训练模型和关键词检索）进行比较，评估其在预测政党立场方面的能力。
• 通过分析模型错误，评估生成回答在对公众人物进行排序时的可靠性。
• 通过生成的合成模型观点，使用户能够探索对立社区的视角，从而促进建设性对话。

提出的方法

• 在收集自自我认同为民主党和共和党Twitter用户的470万条推文上，分别微调GPT-2语言模型，数据采集时间早于2020年ANES调查期。
• 使用ANES 2020探索性测试调查问题作为提示，采用四种不同的提示格式（例如，“X是……”）以激发类似观点的回应。
• 基于对16位公众人物的生成回应，计算其平均立场得分，以评估其在各社区中的感知好感度排名。
• 通过皮尔逊相关系数和准确率等指标，将模型生成的回应与实际的ANES调查结果进行比较，评估其预测性能。
• 通过将模型输出与真实ANES回应对比，开展错误分析，识别系统性遗漏和误分类现象。
• 依赖生成输出中的统计模式而非单一样本，以确保结果稳健性并降低幻觉风险。

实验结果

研究问题

• RQ1 在部分派系社交媒体数据上微调的GPT-2模型，能否生成反映社区对公众人物实际政党立场的回答？
• RQ2 CommunityLM在预测政党偏好方面，与预训练模型（如GPT-3 Curie）和基于关键词的基线方法相比，表现如何？
• RQ3 哪种提示格式能产生最准确、最可靠的社区立场预测？
• RQ4 CommunityLM存在哪些系统性错误？这些错误与特定公众人物或社会群体有何关联？
• RQ5 CommunityLM在多大程度上可用于根据各政治群体中的感知好感度对公众人物进行排序？

主要发现

• 使用“X是……”提示格式微调的CommunityLM在预测政党立场方面达到了最高准确率，显著优于预训练的GPT-3 Curie和基于关键词的检索基线。
• CommunityLM生成的回应与实际的ANES调查结果高度一致，尤其在捕捉公众人物（如福奇博士）和政治群体的政党差异方面表现突出。
• 共和党GPT-2模型对福奇博士的回应中，“骗子”和“笑话”位列前两位，而民主党模型则生成“英雄”和“真实”等词，反映出真实的政党分歧。
• 错误分析显示，关键词检索基线遗漏了“非法移民”和“大企业”等关键术语，而微调后的CommunityLM则遗漏了“白人”和“安东尼·福奇博士”等词。
• 通过CommunityLM生成的立场得分对公众人物进行排序显示，共和党模型对民主党政治人物的评价普遍更低，反之亦然；安德鲁·杨在两个群体中均获得较高评分。
• 本研究证明，通过模型生成回应中的统计模式，可可靠地揭示社区层面的偏好和世界观差异，而无需直接进行个体访谈。