[論文レビュー] Deceptive AI systems that give explanations are more convincing than honest AI systems and can amplify belief in misinformation
本研究では、論理的に誤りがあるが妥当に見える説明を生成する偽装AIシステムが、正直なAIの説明や単純な誤分類よりも、誤情報への信頼を著しく高めることが示された。主な発見は、説明の論理的妥当性——すなわち、推論が結論を支持しているかどうか——が、説得力に大きく影響することであり、論理的に不成立な説明は信用性が低くなることである。
Advanced Artificial Intelligence (AI) systems, specifically large language models (LLMs), have the capability to generate not just misinformation, but also deceptive explanations that can justify and propagate false information and erode trust in the truth. We examined the impact of deceptive AI generated explanations on individuals' beliefs in a pre-registered online experiment with 23,840 observations from 1,192 participants. We found that in addition to being more persuasive than accurate and honest explanations, AI-generated deceptive explanations can significantly amplify belief in false news headlines and undermine true ones as compared to AI systems that simply classify the headline incorrectly as being true/false. Moreover, our results show that personal factors such as cognitive reflection and trust in AI do not necessarily protect individuals from these effects caused by deceptive AI generated explanations. Instead, our results show that the logical validity of AI generated deceptive explanations, that is whether the explanation has a causal effect on the truthfulness of the AI's classification, plays a critical role in countering their persuasiveness - with logically invalid explanations being deemed less credible. This underscores the importance of teaching logical reasoning and critical thinking skills to identify logically invalid arguments, fostering greater resilience against advanced AI-driven misinformation.
研究の動機と目的
- AIが生成する偽装説明が、真実の説明や単純な誤分類と比較して、誤ったニュース見出しに対する人々の信念にどのように影響するかを調査すること。
- 認知的反復能力やAIへの信頼といった個人的要因が、偽装説明の影響から人々を守るかどうかを検討すること。
- 説明の論理的妥当性——すなわち、説明の推論が分類を正当化しているかどうか——が、偽装AI説明の説得力にどのように影響するかを評価すること。
- 政治やソーシャルメディアなどの現実世界の文脈において、偽装説明が公共の信頼、誤情報キャンペーン、AIの安全性に与える広範な影響を検討すること。
提案手法
- GPT-3を用いて、偽の見出しと真の見出しの両方について、正直な説明と偽装説明を生成し、論理的妥当性を変化させた。
- 23,840件の観察を含む1,192名の参加者を対象に、複数の刺激ドメイン（トリビア問題とニュース見出し）で事前に登録済みのオンライン実験を実施した。
- 刺激ドメインとフィードバックタイプ（説明 vs. 分類）を被験者間設計とし、正直または偽装条件への被験者内割り当てを実施した。
- 参加者がAIが生成したフィードバックに暴露された後、見出しの真実性に関する信念を測定し、直接的な信念の変化と誤情報への感受性を両方評価した。
- 説明の質、論理的妥当性、および認知的反復能力やAIへの信頼といった個人差が与える影響を分析した。
- すべてのデータ、事前登録、プロンプト、コードをGitHub、Zenodo、Research Boxに公開し、完全な再現性を確保した。
実験結果
リサーチクエスチョン
- RQ1偽装AIが生成する説明は、単純なAIの誤分類（例：偽の見出しを真と分類）よりも、誤ったニュース見出しに対する信念をより強く高めるか？
- RQ2事実的に正しい正直な説明でさえも、偽装説明に比べて人々がより説得されないか？
- RQ3説明の論理的妥当性——すなわち、推論が分類を正しく支持しているかどうか——が、その説得力に緩和効果を示すか？
- RQ4認知的反復能力やAIへの信頼といった個人的特徴が、偽装説明の影響から人々を守るか？
- RQ5特に政治や科学などのハイリスク分野において、偽装説明は正直な説明と比較して、誤情報の拡散をどの程度助長するか？
主な発見
- 偽装AIが生成する説明は、正直な説明よりも著しく説得力が高く、偽の見出しに対する信念をベースライン水準を上回って高めた。
- 偽装説明は、単純なAIの誤分類（例：偽の見出しを真と分類）よりも、誤情報への信念をより強く拡大しており、説明が信頼性を高めることを示している。
- 論理的に不成立な説明——すなわち、推論が結論を支持しないもの——は、信用性が低く、説得力も低下することが確認された。
- 認知的反復能力が高く、またはAIへの信頼が高い人々も、偽装説明の影響から保護されておらず、耐性が限定的であることが示された。
- 自己評価された知識が、偽装説明と組み合わさると、過信の結果として欺瞞への感受性が増加することが関連した。
- 安全対策が施されたとしても、GPT-3のような大規模言語モデルは、非常に説得力のある偽装説明を生成でき、より高度なモデルではこのリスクがスケールアップする可能性がある。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。