[论文解读] Belief-Sim: Towards Belief-Driven Simulation of Demographic Misinformation Susceptibility

Angana Borah, Zohaib Khan+2 more|arXiv (Cornell University)|Mar 3, 2026

Misinformation and Its Impacts被引用 0

一句话总结

Belief-Sim 使用受心理学启发的信念分类法来驱动基于 LLM 的仿真，展示信念是跨数据集与模型实现准确仿真的强先验；它引入两阶段的 BAFT 方法以将信念与人口统计分离以实现鲁棒预测。

ABSTRACT

Misinformation is a growing societal threat, and susceptibility to misinformative claims varies across demographic groups due to differences in underlying beliefs. As Large Language Models (LLMs) are increasingly used to simulate human behaviors, we investigate whether they can simulate demographic misinformation susceptibility, treating beliefs as a primary driving factor. We introduce BeliefSim, a simulation framework that constructs demographic belief profiles using psychology-informed taxonomies and survey priors. We study prompt-based conditioning and post-training adaptation, and conduct a multi-fold evaluation using: (i) susceptibility accuracy and (ii) counterfactual demographic sensitivity. Across both datasets and modeling strategies, we show that beliefs provide a strong prior for simulating misinformation susceptibility, with accuracy up to 92%.

研究动机与目标

• 以研究信念（不仅仅是人口统计）如何调节跨人口群体的错信易感性为动机。
• 开发一个信念分类法与一个仿真框架（Belief-Sim），使用 LLM 来建模人口统计感知的易感性。
• 评估提示条件化与后训练适配在多模型与多数据集上的表现。
• 提出反事实与效用分析，以区分信息量丰富的先验与刻板印象驱动的捷径。
• 提出设计有针对性干预的可操作步骤并发布一个开源框架。

提出的方法

• 建立一个基于心理学的七维信念分类法（世界观、认识信任、认知风格、阴谋思维、道德/价值、情绪相关、启发式）。
• 创建一个将来自调查的观测信念与来自 World Values Survey 的以人口统计为条件的先验信念组合的仿真数据集。
• 应用提示条件化以将人口统计与信念信号条件化到 LLM，测试零-shot、仅示例、仅信念与组合输入。
• 在三个开源 LLMs（llama-3-8b-instr、qwen-2.5-14b-instr、mistral-7b-instr-v02）与两个数据集（PANDORA、MIST）上，使用易感性准确性进行评估。
• 开发 BAFT（Belief-Adapter Fine-tuning）以将推断信念与观测信念分离，并在冻结的基础模型之上微调易感性头。
• 进行反事实评估和主题分析，以评估人口统计敏感性与主题相关效应。

Figure 1: BeliefSim Framework: (1) Participant Data, Observed and Imputed Beliefs (based on Belief Taxonomy) are collected from surveys, (2) Methods consist of prompt-conditioning and post-training adaptation and (3) Evaluation using Susceptibility Accuracy, Counterfactual and Thematic Analysis.

实验结果

研究问题

• RQ1 信念是否能改善面向人口统计的错信易感性仿真？
• RQ2 如何使用效用与反事实人口统计分析对仿真进行严谨评估？
• RQ3 哪些建模策略（基于提示的 vs 后训练）最适合基于 LLM 的仿真？
• RQ4 将信念建模与易感性预测解耦（BAFT）是否能提升鲁棒性与泛化性？

主要发现

Model	PANDORA	MIST
Llama	85.90	69.77
Qwen	88.84	73.13
Mistral	87.51	72.71

• 信念先验，尤其是推断出的信念，提供强先验，提升跨数据集和模型的易感性预测。
• 推断出的信念优于观测信念，将推断信念与人口统计结合能获得最佳准确性（在某些设置下高达 92%）。
• 信念提供比单独的人口统计信号更多的预测性；仅有的人口统计信号可能降低零-shot 性能并带来捷径效应。
• 主题分析显示易感性随主题与人口群体而异，年长且教育水平较高的群体在科学/健康与政府话题上易感性更高。
• 反事实分析表明模型对人口统计线索的敏感性取决于模型，qwen 与 mistral 的人口统计依赖性低于 llama。
• BAFT（两阶段信念建模+易感性微调）在跨研究的泛化方面表现鲁棒（MIST-2 最高达 92.4%），并在消除 ablations 中的人口统计捷径。

Figure 2: Simulation Data Example.