[論文レビュー] Susceptibility to Influence of Large Language Models

Lewis D. Griffin, Bennett Kleinberg+5 more|arXiv (Cornell University)|Mar 10, 2023

Hate Speech and Cyberbullying Detection被引用数 7

ひとこと要約

本研究は、大規模言語モデル（LLMs）が人間の心理的影響への感受性を模倣できるかどうかを検証し、ニュースにおける錯覚的真実効果（ITE）とポ퓰ィスト的フレーミングの2つのモードをテストした。人間とLLMでシミュレートされた参加者を用いた研究では、LLMが主な人間の影響効果——特にITE——を再現しており、複雑な政治的説得のパターンについても部分的に模倣していることが判明した。これは、LLMが心理的影響を顕著な正確性でモデル化できることを示唆している。

ABSTRACT

Two studies tested the hypothesis that a Large Language Model (LLM) can be used to model psychological change following exposure to influential input. The first study tested a generic mode of influence - the Illusory Truth Effect (ITE) - where earlier exposure to a statement (through, for example, rating its interest) boosts a later truthfulness test rating. Data was collected from 1000 human participants using an online experiment, and 1000 simulated participants using engineered prompts and LLM completion. 64 ratings per participant were collected, using all exposure-test combinations of the attributes: truth, interest, sentiment and importance. The results for human participants reconfirmed the ITE, and demonstrated an absence of effect for attributes other than truth, and when the same attribute is used for exposure and test. The same pattern of effects was found for LLM-simulated participants. The second study concerns a specific mode of influence - populist framing of news to increase its persuasion and political mobilization. Data from LLM-simulated participants was collected and compared to previously published data from a 15-country experiment on 7286 human participants. Several effects previously demonstrated from the human study were replicated by the simulated study, including effects that surprised the authors of the human study by contradicting their theoretical expectations (anti-immigrant framing of news decreases its persuasion and mobilization); but some significant relationships found in human data (modulation of the effectiveness of populist framing according to relative deprivation of the participant) were not present in the LLM data. Together the two studies support the view that LLMs have potential to act as models of the effect of influence.

研究の動機と目的

• 制御された実験的状況下で、LLMが人間の心理的影響への感受性を模倣できるかどうかを検証すること。
• 特に真実認識と政治的説得の文脈において、LLMが人間の行動パターンをどの程度再現するかを評価すること。
• 影響メカニズムに関する大規模実験から得られた実際の人間データと比較して、LLMでシミュレートされた参加者の反応を分析すること。
• 反移民フレーミングによる説得力の低下といった、人間の研究で得られた直感に反する発見をLLMが再現できるかどうかをテストすること。
• 相対的劣位感といった文脈依存的効果を、LLMがどの程度正確に捉えることができるかを評価すること。

提案手法

• 1,000名の実際の人間参加者と1,000名のLLMでシミュレートされた参加者を用いたオンライン実験を実施。露出段階とテスト段階を模倣するように設計されたプロンプトを用いた。
• 真実性、関心、感情、重要性の4つの属性を組み合わせた4x4要因設計を採用し、露出-テストの組み合わせにおける影響効果を測定した。
• LLMを用いて露出履歴に基づく人間の評価を模倣する反応を生成し、錯覚的真実効果（ITE）をモデル化した。
• 15カ国で実施された人間の研究におけるポ퓰ィスト的フレーミングの再現を、LLMでシミュレートされた参加者を用いて行い、公表済みの人間データと比較した。
• 人間データとLLMでシミュレートされたデータの間で、効果量とパターンの類似性を統計的モデリングにより比較した。
• 方向性、有意性、予期しない発見といった指標を用いて、再現の正確性を標準化された指標で評価した。

実験結果

リサーチクエスチョン

• RQ1 LLMは、人間らしく反応するパターンとして、錯覚的真実効果（ITE）を正確に再現できるか？
• RQ2 真実性、関心、感情、重要性といった属性にさらされた場合、LLMでシミュレートされた参加者は、実際の人間と同様に影響に感受性を示すか？
• RQ3 LLMは、ポ퓰ィスト的フレーミングが説得力や動員に与える影響といった、複雑な政治的影響効果を再現できるか？
• RQ4 特に直感に反する効果——たとえば反移民フレーミングが説得力を低下させる——を、全体的な類似性が高かろうともLLMが再現できない効果は存在するか？
• RQ5 相対的劣位感は、実際の人間と比較して、LLMでシミュレートされた参加者において、ポ퓰ィスト的フレーミングの効果をどの程度調節するか？

主な発見

• 錯覚的真実効果（ITE）は、人間参加者とLLMでシミュレートされた参加者の両方で強く再現され、以前に露出した文の真実性評価が上昇した。
• 真実性以外の属性では、人間データおよびLLMデータの両方で有意な影響効果は観察されず、ITEの特異性が裏付けられた。
• 露出とテストの両方で同じ属性（例：真実性）が使用された場合には有意な効果は認められず、これはITEが露出とテストの属性に差が必要であることを示している。
• LLMでシミュレートされた参加者は、15カ国で実施された人間の研究におけるいくつかの主要な発見——特に反移民フレーミングが説得力と動員を低下させるという直感に反する結果——を再現した。
• しかし、LLMデータは、相対的劣位感がポ퓰ィスト的フレーミングの効果を調節するという人間の効果を再現できず、文脈に依存する心理的変数をモデル化する際の限界を示した。
• 全体として、LLMは特にITEのような予測可能でよく文書化された効果や特定のフレーミング結果のような影響メカニズムを顕著な正確性で模倣している。