[논문 리뷰] Susceptibility to Influence of Large Language Models

Lewis D. Griffin, Bennett Kleinberg외 5명|arXiv (Cornell University)|2023. 03. 10.

Hate Speech and Cyberbullying Detection인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 인간의 심리적 영향에 대한 민감성을 시뮬레이션할 수 있는지 조사한다. 두 가지 모드를 테스트한다: 환상적 진리 효과(Illusory Truth Effect, ITE)와 뉴스에서의 민주적 프레임링. 인간 참가자와 LLM으로 시뮬레이션된 참가자를 모두 사용하여 연구한 결과, LLMs는 특히 ITE에서 핵심적인 인간의 영향 효과를 재현하며, 복잡한 정치적 설득 패턴의 일부를 부분적으로 모방함으로써 LLMs가 심리적 영향을 상당한 정밀도로 모델링할 수 있음을 시사한다.

ABSTRACT

Two studies tested the hypothesis that a Large Language Model (LLM) can be used to model psychological change following exposure to influential input. The first study tested a generic mode of influence - the Illusory Truth Effect (ITE) - where earlier exposure to a statement (through, for example, rating its interest) boosts a later truthfulness test rating. Data was collected from 1000 human participants using an online experiment, and 1000 simulated participants using engineered prompts and LLM completion. 64 ratings per participant were collected, using all exposure-test combinations of the attributes: truth, interest, sentiment and importance. The results for human participants reconfirmed the ITE, and demonstrated an absence of effect for attributes other than truth, and when the same attribute is used for exposure and test. The same pattern of effects was found for LLM-simulated participants. The second study concerns a specific mode of influence - populist framing of news to increase its persuasion and political mobilization. Data from LLM-simulated participants was collected and compared to previously published data from a 15-country experiment on 7286 human participants. Several effects previously demonstrated from the human study were replicated by the simulated study, including effects that surprised the authors of the human study by contradicting their theoretical expectations (anti-immigrant framing of news decreases its persuasion and mobilization); but some significant relationships found in human data (modulation of the effectiveness of populist framing according to relative deprivation of the participant) were not present in the LLM data. Together the two studies support the view that LLMs have potential to act as models of the effect of influence.

연구 동기 및 목표

• 통제된 실험 환경에서 LLMs가 인간의 심리적 영향에 대한 민감성을 시뮬레이션할 수 있는지 조사하기.
• 특히 진실 인식과 정치적 설득에 대한 반응에서 LLMs가 인간의 행동 패턴을 어느 정도 재현하는지 평가하기.
• 대규모 영향 메커니즘 실험에서 수집된 실제 인간 데이터와 LLM으로 시뮬레이션된 참가자 응답을 비교하기.
• LLMs가 인간 연구에서 관찰된 역설적인 결과(예: 반이민 프레임링이 설득을 감소시킴)를 재현할 수 있는지 테스트하기.
• 상대적 박탈감 등 맥락에 따라 달라지는 효과를 포괄하는 데서 LLMs의 한계 평가하기.

제안 방법

• 1,000명의 인간 참가자와 1,000명의 LLM으로 시뮬레이션된 참가자를 대상으로 온라인 실험을 실시하였으며, 노출 및 테스트 단계를 시뮬레이션하기 위해 설계된 프롬프트를 사용하였다.
• 진실, 관심, 감정, 중요도 속성에 대해 4x4 설계를 적용하여 노출-테스트 조합 간의 영향 효과를 측정하였다.
• LLMs를 사용해 노출 역사를 기반으로 한 인간 평가를 시뮬레이션하는 응답을 생성하였으며, 이는 환상적 진리 효과(Illusory Truth Effect, ITE)를 모델링한 것이다.
• 15개국에서 수행된 인간 연구의 민주적 프레임링에 대한 결과를 LLM으로 시뮬레이션된 참가자를 사용해 재현하였으며, 발표된 인간 데이터와 비교하였다.
• 영향 조건 간의 효과 크기와 패턴을 비교하기 위해 통계 모델링을 적용하였다.
• 방향성, 유의미성, 예상치 못한 발견 등을 포함한 표준화된 지표를 사용해 재현 정밀도를 평가하였다.

실험 결과

연구 질문

• RQ1 LLMs는 인간과 유사한 반응 패턴을 보이며 환상적 진리 효과(Illusory Truth Effect, ITE)를 정확하게 시뮬레이션할 수 있는가?
• RQ2 진실, 관심, 감정, 중요도 등 다양한 속성에 노출된 경우, LLM으로 시뮬레이션된 참가자가 실제 인간과 동일한 영향 민감성을 보이는가?
• RQ3 LLMs는 민주적 프레임링이 설득 및 동원에 미치는 영향과 같은 복잡한 정치적 영향 효과를 재현할 수 있는가?
• RQ4 특히 역설적인 결과들(예: 반이민 프레임링이 설득을 감소시킴)과 같은 특정 심리적 효과들 중에서, 높은 총체적 유사성에도 불구하고 LLMs가 재현하지 못하는 것은 무엇인가?
• RQ5 상대적 박탈감이 민주적 프레임링의 효과성에 영향을 미치는 정도를 LLM으로 시뮬레이션된 참가자와 실제 인간 참가자 간에 비교할 때, 어느 정도로 조절되는가?

주요 결과

• 환상적 진리 효과(Illusory Truth Effect, ITE)는 인간 참가자와 LLM으로 시뮬레이션된 참가자 모두에서 뚜렷하게 재현되었으며, 이는 이전에 노출된 이후 진실 평가가 증가했음을 시사한다.
• 진실 이외의 속성에 대해서는 인간 데이터 또는 LLM 데이터에서 유의미한 영향 효과가 관찰되지 않아, ITE의 특이성(특정 속성에 국한된 효과)을 지지한다.
• 노출과 테스트에 동일한 속성(예: 진실)을 사용한 경우, 유의미한 효과가 발견되지 않아, ITE는 노출 속성과 테스트 속성이 다를 때에만 작용함을 시사한다.
• LLM으로 시뮬레이션된 참가자들은 15개국 인간 연구에서 관찰된 몇 가지 핵심 결과를 재현하였으며, 반이민 프레임링이 설득 및 동원을 감소시킨다는 역설적인 결과도 포함되어 있었다.
• 그러나 LLM 데이터는 인간 연구에서 관찰된 상대적 박탈감이 민주적 프레임링의 효과성에 조절 역할을 한다는 인간 효과를 재현하지 못하여, 맥락에 민감한 심리적 변수를 모델링하는 데서의 한계를 드러냈다.
• 전반적으로 LLMs는 특히 ITE와 특정 프레임링 결과와 같은 예측 가능하고 잘 문서화된 효과들에서 영향 메커니즘을 높은 정밀도로 시뮬레이션하는 데 성공했다.