[論文レビュー] Fact-checking information from large language models can decrease headline discernment

Matthew DeVerna, Harry Yaojun Yan+2 more|arXiv (Cornell University)|Aug 21, 2023

Misinformation and Its Impacts被引用数 4

ひとこと要約

本研究は、大規模言語モデル（LLM）が生成する事実確認情報が、ユーザーの政治的ニュースの正確性を識別する能力およびその共有意図に与える影響を調査している。LLMは誤った見出しを正しく否定したが、誤って偽りと誤認された真実の見出しに対する信頼を低下させ、不確実性がある際には偽りの見出しに対する信頼を増加させた。これは、AI駆動の事実確認システムにおける予期しない悪影響を示している。

ABSTRACT

Fact checking can be an effective strategy against misinformation, but its implementation at scale is impeded by the overwhelming volume of information online. Recent artificial intelligence (AI) language models have shown impressive ability in fact-checking tasks, but how humans interact with fact-checking information provided by these models is unclear. Here, we investigate the impact of fact-checking information generated by a popular large language model (LLM) on belief in, and sharing intent of, political news headlines in a preregistered randomized control experiment. Although the LLM accurately identifies most false headlines (90%), we find that this information does not significantly improve participants' ability to discern headline accuracy or share accurate news. In contrast, viewing human-generated fact checks enhances discernment in both cases. Subsequent analysis reveals that the AI fact-checker is harmful in specific cases: it decreases beliefs in true headlines that it mislabels as false and increases beliefs in false headlines that it is unsure about. On the positive side, AI fact-checking information increases the sharing intent for correctly labeled true headlines. When participants are given the option to view LLM fact checks and choose to do so, they are significantly more likely to share both true and false news but only more likely to believe false headlines. Our findings highlight an important source of potential harm stemming from AI applications and underscore the critical need for policies to prevent or mitigate such unintended consequences.

研究の動機と目的

• 大規模言語モデル（LLM）が生成する事実確認情報が政治的ニュースの文脈においてユーザーがどのように反応するかを調査すること。
• LLMによる事実確認が、ユーザーが真実の見出しと偽りの見出しを識別する能力を向上させるかどうかを評価すること。
• LLMによる事実確認が、参加者の政治的ニュースの共有意図に与える影響を評価すること。
• 党派的整合性が、LLMが生成する事実確認情報にさらされた際の信念や共有行動に与える影響を調査すること。
• 現実の情報エコシステムにおいてLLMを自動事実確認に導入する際の予期しない結果を特定すること。

提案手法

• N=1,548名の米国参加者を対象に、事前登録済みの無作為化比較実験を実施し、LLMによる事実確認がニュース認識に与える因果的影響を評価した。
• 参加者には40件の実際の政治的ニュース記事（半数が真実、半数が偽り）が提示され、党派的傾向（民主党寄りまたは共和党寄り）でバランスされた。
• 参加者は「信念」および「共有」のグループに分類され、ChatGPTが生成する事実確認情報の閲覧を選択するか、拒否するかが無作為に割り当てられた。
• 信念および共有意図に影響を与える要因として、事実確認情報の暴露、見出しの真偽、党派的整合性の影響を分析するため、多重回帰モデル（頑健標準誤差を用いる）が用いられた。
• 事実確認情報の閲覧有無、見出しの真偽、党派的整合性の間の交互作用効果をテストし、異なる条件における影響の差を評価した。
• 事後比較としてボンフェローニ補正を用いて、条件ごとの信念および共有意図の傾きの差を評価した。

Figure 1: Experimental design, accuracy, and main effects of the LLM fact-checking intervention. (a) Graphical representation of the experimental design and participant flow. Although two different false claims are shown as examples along with their respective ChatGPT fact-checking information, both

実験結果

リサーチクエスチョン

• RQ1 LLMが生成する事実確認情報に晒されたことで、ユーザーの政治的ニュース見出しの正確性を識別する能力が向上するか？
• RQ2 LLMによる事実確認の閲覧が、参加者の真実の政治的ニュースと偽りの政治的ニュースの共有意図にどのように影響するか？
• RQ3 LLMが見出しの真偽について不確実性を示す、あるいは誤って見出しを誤認することで、正確なニュースに対する信頼が低下するか、偽りのニュースに対する信頼が増加するか？
• RQ4 党派的整合性が、LLMによる事実確認情報が信念および共有意図に与える影響をどのように緩和・強化するか？
• RQ5 実世界の情報エコシステムにおいてLLMを自動事実確認に導入する際の予期しない結果は何か？

主な発見

• LLMは誤った見出しを正しく否定したが、参加者の見出しの正確性を識別する能力に有意な向上は見られなかった。
• LLMは誤って偽りと誤認された真実の見出しに対する信頼を低下させた。これは、正確な情報に対する信頼を損なう有害な影響を示している。
• LLMが見出しの真偽について不確実性を示した際、偽りの見出しに対する信頼が増加した。これは、誤情報の拡散を助長するリスクを示している。
• 参加者がLLMの事実確認情報を閲覧した場合、真実のニュースおよび偽りのニュースの両方を共有する可能性が高くなったが、偽りの見出しに対する信頼が特に高くなった。
• 事実確認情報の閲覧を拒否した参加者では、党派的不整合性が真実の見出しの共有意図に顕著な負の影響を及ぼした。これは、閲覧拒否ユーザーが党派的傾向により敏感であることを示している。
• 参加者が事実確認情報を閲覧した場合、党派的整合性が共有意図に有意な影響を及ぼさなかった。これは、LLMによる事実確認が、共有行動における党派的バイアスを上回る可能性を示している。

Figure 2: Effects of LLM fact-checking information on headline belief and sharing intent, contingent on headline veracity and fact check judgment. Each panel shows the proportion of participants in the control (circles) and forced (triangles) conditions who (a) believed or (b) were willing to share