[論文レビュー] Quantifying the Impact of Large Language Models on Collective Opinion Dynamics

Chao Li, Xing Su+4 more|arXiv (Cornell University)|Aug 7, 2023

Computational and Text Analysis Methods被引用数 4

ひとこと要約

本研究では、大規模言語モデル（LLMs）がソーシャルネットワーク内の集団的意見形成に与える影響を模擬するため、修正されたヘーゲルマン＝クラウゼモデルを提案する。エージェントをLLMを無視する者、部分的に依存する者、完全に依存する者に分類することで、研究者たちは、LLMを部分的に使用する場合、意見の多様性が38.6%増加することを発見した。特に、非利用者：部分利用者：完全利用者の比が4:12:1の割合で最適な多様性が達成される。モデルは認知的受容性の非線形的で減少する限界効果を示し、反対意見を持つエージェントを導入することで、偏ったLLM出力の影響が緩和されることも明らかになった。

ABSTRACT

The process of opinion expression and exchange is a critical component of democratic societies. As people interact with large language models (LLMs) in the opinion shaping process different from traditional media, the impacts of LLMs are increasingly recognized and being concerned. However, the knowledge about how LLMs affect the process of opinion expression and exchange of social opinion networks is very limited. Here, we create an opinion network dynamics model to encode the opinions of LLMs, cognitive acceptability and usage strategies of individuals, and simulate the impact of LLMs on opinion dynamics in a variety of scenarios. The outcomes of the simulations inform about effective demand-oriented opinion network interventions. The results from this study suggested that the output opinion of LLMs has a unique and positive effect on the collective opinion difference. The marginal effect of cognitive acceptability on collective opinion formation is nonlinear and shows a decreasing trend. When people partially rely on LLMs, the exchange process of opinion becomes more intense and the diversity of opinion becomes more favorable. In fact, there is 38.6% more opinion diversity when people all partially rely on LLMs, compared to prohibiting the use of LLMs entirely. The optimal diversity of opinion was found when the fractions of people who do not use, partially rely on, and fully rely on LLMs reached roughly 4:12:1. Our experiments also find that introducing extra agents with opposite/neutral/random opinions, we can effectively mitigate the impact of biased/toxic output from LLMs. Our findings provide valuable insights into opinion dynamics in the age of LLMs, highlighting the need for customized interventions tailored to specific scenarios to address the drawbacks of improper output and use of LLMs.

研究の動機と目的

• LLMsがソーシャルネットワークにおける集団的意見形成に与える影響を、従来のマスコミと比較して理解すること。
• 使用戦略（使用しない、部分的依存、完全依存）の違いが意見形成に与える影響を調査すること。
• LLM出力品質（例：バイアス、毒性）が意見の多様性および合意形成に与える影響を定量化すること。
• 偏ったまたは毒性のあるLLM出力の悪影響を軽減する最適な干渉戦略を同定すること。

提案手法

• LLMによる双方向的意見形成を組み込んだ古典的ヘーゲルマン＝クラウゼ（HK）モデルを拡張し、NIN（LLMを使用しない者）、NINL（部分的依存者）、NIL（完全依存者）の3種類のエージェントタイプをモデル化する。
• HKモデルに3つの修正を導入：LLMの権威的効果、エージェントの頑固さ、現実世界のダイナミクスを反映するランダムな外部要因。
• LLM出力品質、使用戦略、ネットワーク構造を変化させた複数のシナリオで、意見の進化をシミュレーションする。
• 計算シミュレーションを用いて、意見の多様性、合意形成、偏ったまたは毒性のあるLLM出力の影響を測定する。
• パラメータスイープを実施し、意見の多様性を最大化する非利用者、部分利用者、完全利用者の最適な割合を同定する。
• 反対意見、中立的意見、またはランダムな意見を持つエージェントを導入することで、偏ったLLM出力の影響を緩和する干渉戦略をテストする。

実験結果

リサーチクエスチョン

• RQ1 LLMが出力する意見の導入が、ソーシャルネットワークにおける集団的意見の多様性と合意形成に与える影響は何か？
• RQ2 認知的受容性の限界効果はどのように意見形成に影響し、LLM使用に伴い非線形的にどのように変化するか？
• RQ3 部分的使用、完全使用、または使用しないというどの使用戦略が、意見の多様性を最大化し、極端化を軽減するか？
• RQ4 反対意見や中立的意見を持つエージェントを導入することで、偏ったまたは毒性のあるLLM出力の影響を効果的に緩和できるか？
• RQ5 特定のLLM出力品質と使用パターンに応じた最適な干渉戦略は何か？

主な発見

• LLM出力は集団的意見の多様性に特異的かつ肯定的な効果をもたらす。
• すべての個人がLLMを部分的に依存する場合、LLM使用を完全に禁止した場合と比較して、意見の多様性が38.6%増加する。
• 意見の多様性を最大化する最適なバランスは、非利用者：部分利用者：完全利用者の比が4:12:1である。
• 認知的受容性が意見形成に与える限界効果は非線形的であり、受容性が高くなるに従い減少する。
• 反対意見、中立的意見、またはランダムな意見を持つエージェントを導入することで、偏ったまたは毒性のあるLLM出力の負の影響が効果的に緩和される。
• LLMへの部分的依存は意見交換を強化し、多様性を高めるため、完全な禁止よりも戦略的な統合がより効果的であると考えられる。