[論文レビュー] Simulating Social Media Using Large Language Models to Evaluate Alternative News Feed Algorithms

Petter Törnberg, Диляра Валеева+2 more|arXiv (Cornell University)|Oct 5, 2023

Computational and Text Analysis Methods被引用数 17

ひとこと要約

本研究は、大規模言語モデルとエージェントベースモデルを組み合わせて、異なるニュースフィードアルゴリズムを持つ3つのソーシャルメディアプラットフォームをシミュレートし、対立政党間の関与を高めつつ有害性を低減するブリッジングアルゴリズムを検証する。ANESベースのペルソナとGPT-3.5のプロンプトを用いて、1日分のエージェント相互作用を生成・評価する。

ABSTRACT

Social media is often criticized for amplifying toxic discourse and discouraging constructive conversations. But designing social media platforms to promote better conversations is inherently challenging. This paper asks whether simulating social media through a combination of Large Language Models (LLM) and Agent-Based Modeling can help researchers study how different news feed algorithms shape the quality of online conversations. We create realistic personas using data from the American National Election Study to populate simulated social media platforms. Next, we prompt the agents to read and share news articles - and like or comment upon each other's messages - within three platforms that use different news feed algorithms. In the first platform, users see the most liked and commented posts from users whom they follow. In the second, they see posts from all users - even those outside their own network. The third platform employs a novel "bridging" algorithm that highlights posts that are liked by people with opposing political views. We find this bridging algorithm promotes more constructive, non-toxic, conversation across political divides than the other two models. Though further research is needed to evaluate these findings, we argue that LLMs hold considerable potential to improve simulation research on social media and many other complex social settings.

研究の動機と目的

• LLMsとABMでソーシャルメディアをシミュレーションすることで、ニュースフィードアルゴリズムが会話の質をどのように形作るかを解明できるかを調査する。
• ANESデータを用いて米国の政治的デモグラフィックとメディア消費を反映する現実的なエージェントペルソナを校正する。
• 3つのフィードアルゴリズムを試験し、対党間の関与と有害性への影響を評価する。
• 会話をシミュレートするための初歩的な評価フレームワークを提供し、将来的な人工検証を計画する。

提案手法

• 2020 ANESデータから抽出した政治信条、人口統計、非政治的関心を含む500のLLMベースのエージェントペルソナを作成する。
• ANESに基づいてエージェントに投稿頻度とニュースソースの消費を割り当てる。2020年7月1日の見出しと要約から各エージェントにつき15件のストーリーを生成する。
• 異なるタイムラインの3つのプラットフォームシミュレーションを実行する。(1) フォローイーのみの最もいいねが多い投稿、(2) 全ユーザーの高エンゲージメント投稿、(3) 対立する政党からのいいねを優先するブリッジングアルゴリズム。
• エージェントが投稿・いいね・コメントを行えるようにし、エンゲージメントのフィードバックに応じてタイムラインの表示が進化するようにする。
• Perspective APIによる有害性と、コメントといいねの対党間交流指数（E-I）でアウトカムを測定する。
• LLMのなりすましの限界、サンプルが小さいこと、回顧的トレーニングデータ、および人間による検証の必要性を認める。

Figure 1: Illustration of the model developed in this paper, which combines Large Language Models and Agent-Based Models to simulate the impact of bridging algorithms on social media discourse. Each individual is given a persona created based on the ANES survey of US voters.

実験結果

リサーチクエスチョン

• RQ1 LLMsとABMでソーシャルメディアをシミュレーションすることで、ニュースフィードアルゴリズムが会話の質をどのように形作るかを解明できるかを調査する。
• RQ2 ANESデータを用いて米国の政治的デモグラフィックとメディア消費を反映する現実的なエージェントペルソナを校正する。
• RQ3 3つのフィードアルゴリズムを試験し、対党間の関与と有害性への影響を評価する。
• RQ4 会話をシミュレートするための初歩的な評価フレームワークを提供し、将来的な人工検証を計画する。

主な発見

有害性	E-I対党間コメント	E-I対党間いいね
0.09	-0.89	-0.97
0.13	-0.70	-0.78
0.07	0.33	-0.18

• プラットフォーム1はエコーチェンバーの性質により低い有害性と最小限の対党間交流を生み出す。
• プラットフォーム2は対党間交流と有害性が高く、調査期間のツイッター水準の有害性に近い。
• プラットフォーム3（ブリッジング）は最も好ましい成果を示し、3つのプラットフォームの中で最も高い対党間交流と最低の有害性を示す。
• ブリッジングタイムラインは横断的な課題を強調し、他のモデルと比較して暴言を減らす。
• 質的な例は、ブリッジングがメディアにおける表象といった話題で対党間の議論を促進できる可能性を示唆する。

Figure 2: Excerpt of the generated timeline from Platform 1.