[論文レビュー] Belief-Sim: Towards Belief-Driven Simulation of Demographic Misinformation Susceptibility

Angana Borah, Zohaib Khan+2 more|arXiv (Cornell University)|Mar 3, 2026

Misinformation and Its Impacts被引用数 0

ひとこと要約

Belief-Sim は心理学に基づく信念分類を用いて、デモグラフィック集団が誤情報にどれだけ影響を受けやすいかをLLMベースのシミュレーションで推定する。信念はデータセットとモデル全体で正確なシミュレーションの強力な事前情報を提供する。さらに信念とデモグラフィックを分離する二段階の BAFT アプローチを導入し、堅牢な予測を実現する。

ABSTRACT

Misinformation is a growing societal threat, and susceptibility to misinformative claims varies across demographic groups due to differences in underlying beliefs. As Large Language Models (LLMs) are increasingly used to simulate human behaviors, we investigate whether they can simulate demographic misinformation susceptibility, treating beliefs as a primary driving factor. We introduce BeliefSim, a simulation framework that constructs demographic belief profiles using psychology-informed taxonomies and survey priors. We study prompt-based conditioning and post-training adaptation, and conduct a multi-fold evaluation using: (i) susceptibility accuracy and (ii) counterfactual demographic sensitivity. Across both datasets and modeling strategies, we show that beliefs provide a strong prior for simulating misinformation susceptibility, with accuracy up to 92%.

研究の動機と目的

• 信念が、デモグラフィックだけでなく、誤情報感受性をデモグラフィック群 across にどう変調するかを研究する動機付け。
• 信念分類とシミュレーションフレームワーク（Belief-Sim）を開発し、LLMs を用いてデモグラフィック認識を組み込んだ感受性をモデル化する。
• 複数のモデルとデータセットを横断して、プロンプトベースの条件付けと訓練後適応を評価する。
• 有益な事前情報とステレオタイプ駆動の近道を区別するための反事実および有用性分析を提案する。
• ターゲット介入設計の実用的な手順を提示し、オープンソースのフレームワークを公開する。

提案手法

• 心理学に基づく七つの次元からなる信念分類を構築（世界観、認知的信頼、認知スタイル、陰謀思考、道徳/価値観、感情関連、ヒューリスティクス）。
• 世論調査の観測信念と人口統計条件付きのWorld Values Survey事前信念を組み合わせたシミュレーションデータを作成。
• デモグラフィックと信念シグナルでLLMを条件付けるプロンプトベース調整を適用し、zero-shot、demoのみ、beliefのみ、複合入力をテスト。
• susceptibility accuracy を用いて、三つのオープンソースLLM（llama-3-8b-instr、qwen-2.5-14b-instr、mistral-7b-instr-v02）と二つのデータセット（PANDORA、MIST）で評価。
• BAFT（Belief-Adapter Fine-tuning）を開発し、推定信念と観測信念を分離した上で、凍結ベースモデルの上に感受性ヘッドを微調整。
• 反事実評価とテーマ分析を実施して、デモグラフィック感度とトピック依存効果を評価。

Figure 1: BeliefSim Framework: (1) Participant Data, Observed and Imputed Beliefs (based on Belief Taxonomy) are collected from surveys, (2) Methods consist of prompt-conditioning and post-training adaptation and (3) Evaluation using Susceptibility Accuracy, Counterfactual and Thematic Analysis.

実験結果

リサーチクエスチョン

• RQ1 信念はデモグラフィック認識シミュレーションの誤情報感受性を改善するか？
• RQ2 有用性と反事実デモグラフィック分析を用いて、シミュレーションを厳密に評価できるか？
• RQ3 LLM ベースのシミュレーションにおいて、どのモデリング戦略（プロンプトベース vs 訓練後）が最適か？
• RQ4 信念モデリングと感受性予測の分離（BAFT）は、堅牢性と一般化を改善するか？

主な発見

Model	PANDORA	MIST
Llama	85.90	69.77
Qwen	88.84	73.13
Mistral	87.51	72.71

• 信念事前情報、特に推定信念は、データセットとモデルを横断して感受性予測を改善する強力な事前情報を提供する。
• 推定信念は観測信念を上回り、推定信念とデモグラフィックを組み合わせると最高の精度を示す（いくつかの設定で最大 92%）。
• 信念はデモグラフィック単独よりも予測信号を強く動かす；デモグラフィックのみの信号はゼロショット性能を低下させ、ショートカットを生む可能性がある。
• トピック分析によると、感受性はトピックとデモグラフィックグループで異なり、科学/健康および政府トピックでは高齢者や高教育層の感受性が高い。
• 反事実分析により、デモグラフィック手掛かりへのモデル依存性が明らかになり、qwenとmistral は llama よりデモグラフィック依存が低い。
• BAFT（2段階の信念モデリング + 感受性微調整）は、研究間横断の一般化（MIST-2 で最大 92.4%）を達成し、アブレーション評価でデモグラフィックショートカットを排除することに成功。

Figure 2: Simulation Data Example.