[논문 리뷰] Quantifying the Impact of Large Language Models on Collective Opinion Dynamics

Chao Li, Xing Su외 4명|arXiv (Cornell University)|2023. 08. 07.

Computational and Text Analysis Methods인용 수 4

한 줄 요약

이 연구는 사회 네트워크에서 대규모 언어 모델(Large Language Models, LLMs)이 집단적 의견 동역학에 미치는 영향을 시뮬레이션하기 위해 수정된 헤그셀만-크라우제 모델을 제안한다. LLM을 무시하는, 부분적으로 의존하는, 또는 완전히 의존하는 세 종류의 에이전트로 분류함으로써, 저자들은 LLM을 부분적으로 사용할 경우 의견 다양성을 38.6% 증가시키며, 최적의 다양성은 비율이 4:12:1인 비사용자, 부분 사용자, 완전 사용자 조합에서 달성된다고 밝힌다. 모델은 인지 수용성의 비선형적 감소적 경향 효과를 드러내며, 반대 의견을 가진 에이전트를 도입함으로써 LLM의 편향된 출력을 완화할 수 있음을 보여준다.

ABSTRACT

The process of opinion expression and exchange is a critical component of democratic societies. As people interact with large language models (LLMs) in the opinion shaping process different from traditional media, the impacts of LLMs are increasingly recognized and being concerned. However, the knowledge about how LLMs affect the process of opinion expression and exchange of social opinion networks is very limited. Here, we create an opinion network dynamics model to encode the opinions of LLMs, cognitive acceptability and usage strategies of individuals, and simulate the impact of LLMs on opinion dynamics in a variety of scenarios. The outcomes of the simulations inform about effective demand-oriented opinion network interventions. The results from this study suggested that the output opinion of LLMs has a unique and positive effect on the collective opinion difference. The marginal effect of cognitive acceptability on collective opinion formation is nonlinear and shows a decreasing trend. When people partially rely on LLMs, the exchange process of opinion becomes more intense and the diversity of opinion becomes more favorable. In fact, there is 38.6% more opinion diversity when people all partially rely on LLMs, compared to prohibiting the use of LLMs entirely. The optimal diversity of opinion was found when the fractions of people who do not use, partially rely on, and fully rely on LLMs reached roughly 4:12:1. Our experiments also find that introducing extra agents with opposite/neutral/random opinions, we can effectively mitigate the impact of biased/toxic output from LLMs. Our findings provide valuable insights into opinion dynamics in the age of LLMs, highlighting the need for customized interventions tailored to specific scenarios to address the drawbacks of improper output and use of LLMs.

연구 동기 및 목표

• 사회 네트워크에서 LLM이 집단적 의견 형성에 미치는 영향을 이해하고, 특히 전통적 미디어와의 비교를 통해 분석한다.
• 사용 전략의 다양성—사용하지 않음, 부분적 의존, 완전한 의존—이 의견 동역학에 미치는 영향을 조사한다.
• LLM 출력 품질(예: 편향, 독성 등)이 의견 다양성과 공감대 형성에 미치는 영향을 정량화한다.
• 편향되거나 독성이 있는 LLM 출력의 부정적 영향을 완화할 수 있는 최적의 개입 전략을 규명한다.

제안 방법

• LLM을 통한 상하좌우의 의견 형성 효과를 반영하기 위해 고전적인 헤그셀만-크라우제(HK) 모델을 확장하여, NIN(LLM 사용 없음), NINL(부분적 의존), NIL(완전한 의존)의 세 가지 에이전트 유형을 모델링한다.
• HK 모델에 세 가지 수정을 도입: LLM의 권위적 영향, 에이전트의 고집스러움, 현실 세계의 동적 요소를 반영하기 위한 랜덤 외부 사건.
• LLM 출력 품질, 사용 전략, 네트워크 구조의 다양성에 따라 의견 변화를 시뮬레이션하는 다양한 시나리오를 구현한다.
• 컴퓨터 시뮬레이션을 통해 의견 다양성, 공감대 형성, 편향되거나 독성이 있는 LLM 출력의 영향을 측정한다.
• 의견 다양성을 극대화하기 위한 비사용자, 부분 사용자, 완전 사용자의 최적 비율을 규명하기 위해 파라미터 스윕을 실시한다.
• 편향된 LLM 출력의 영향을 완화하기 위해 반대, 중립 또는 랜덤 의견을 가진 에이전트를 도입하여 개입 전략을 테스트한다.

실험 결과

연구 질문

• RQ1 LLM 생성 의견의 포함 여부가 사회 네트워크의 집단적 의견 다양성과 공감대 형성에 어떤 영향을 미치는가?
• RQ2 인지 수용성이 의견 형성에 미치는 마진효과는 무엇이며, LLM 사용 증가에 따라 비선형적으로 어떻게 변화하는가?
• RQ3 부분적, 완전적, 또는 사용하지 않는 전략 중에서 의견 다양성을 극대화하고 극단화를 줄이는 데 최적의 사용 전략은 무엇인가?
• RQ4 편향되거나 독성이 있는 LLM 출력의 영향을 완화하기 위해 반대 또는 중립 의견을 가진 에이전트를 도입하는 것이 효과적인가?
• RQ5 특정 LLM 출력 품질과 사용 패턴에 맞춰 최적의 개입 전략은 무엇인가?

주요 결과

• LLM 출력은 집단적 의견 차이에 고유하고 긍정적인 영향을 미치며, 의견 다양성을 증가시킨다.
• 모든 개인이 LLM을 부분적으로 의존할 경우, LLM 사용을 완전히 금지한 경우에 비해 의견 다양성이 38.6% 증가한다.
• 의견 다양성을 극대화하기 위한 최적의 균형은 비사용자, 부분 사용자, 완전 사용자의 비율이 4:12:1일 때이다.
• 인지 수용성이 의견 형성에 미치는 마진효과는 비선형적이며, 수용성 증가에 따라 감소한다.
• 반대, 중립 또는 랜덤 의견을 가진 에이전트를 도입함으로써 편향되거나 독성이 있는 LLM 출력의 부정적 영향을 효과적으로 완화할 수 있다.
• LLM에 부분적으로 의존함으로써 의견 교류가 강화되고 다양성이 증가하므로, 금지보다는 전략적 통합이 더 유익하다는 결론을 도출한다.