[論文レビュー] AI model GPT-3 (dis)informs us better than humans

Giovanni Spitale, Nikola Biller‐Andorno+1 more|Zurich Open Repository and Archive (University of Zurich)|Jan 23, 2023

Misinformation and Its Impacts参考文献 15被引用数 10

ひとこと要約

この研究はGPT-3が正確で理解しやすい情報を生成できる一方で、より説得力のある偽情報を作成することもあり、人間はしばしGPT-3のツイートを人間のものと区別できないことが多い。

ABSTRACT

Artificial intelligence is changing the way we create and evaluate information, and this is happening during an infodemic, which has been having dramatic effects on global health. In this paper we evaluate whether recruited individuals can distinguish disinformation from accurate information, structured in the form of tweets, and determine whether a tweet is organic or synthetic, i.e., whether it has been written by a Twitter user or by the AI model GPT-3. Our results show that GPT-3 is a double-edge sword, which, in comparison with humans, can produce accurate information that is easier to understand, but can also produce more compelling disinformation. We also show that humans cannot distinguish tweets generated by GPT-3 from tweets written by human users. Starting from our results, we reflect on the dangers of AI for disinformation, and on how we can improve information campaigns to benefit global health.

研究の動機と目的

• 募集参加者がツイート形式の偽情報を正確な情報と区別できるかを評価する。
• ツイートが有機的（人間が書いたもの）か合成的（GPT-3が書いたもの）かを評価する。
• GPT-3と人間が提供する情報の正確さと理解しやすさを比較する。
• AI主導の偽情報と健康情報キャンペーンの改善戦略への影響を検討する。

提案手法

• 偽情報と正確な情報として構成されたツイートを参加者に提示する。
• GPT-3と人間が作成した情報の正確さと理解しやすさを比較する。
• 参加者にツイートを有機的か合成的か分類させる。
• GPT-3コンテンツと人間コンテンツを区別する参加者の能力を分析する。
• 著者が参照したデータセットとソフトウェア資源を活用する。

実験結果

リサーチクエスチョン

• RQ1 参加者はツイート形式の偽情報と正確な情報を区別できるか？
• RQ2 参加者はGPT-3が書いたツイートと人間が書いたツイート（有機的 vs 合成的）を区別できるか？
• RQ3 GPT-3の情報品質と理解性は人間が生成したコンテンツと比較してどうか？
• RQ4 AI生成コンテンツが健康情報キャンペーンに与える影響は何か？

主な発見

• GPT-3は人間が生成した内容より理解しやすい正確な情報を提供できることがある。
• GPT-3は人間より説得力のある偽情報を生成することもある。
• 人間はGPT-3が生成したツイートと人間ユーザーが書いたものを区別するのに苦労する。
• 結果はAI主導の偽情報への懸念を生み出し、全球的な健康情報キャンペーンの改善の必要性を強調する。
• 本論文は偽情報に対するAIの危険性とそれを緩和する潜在戦略を論じる。