[論文レビュー] Deceptive AI Systems That Give Explanations Are Just as Convincing as Honest AI Systems in Human-Machine Decision Making

Valdemar Danry, Pat Pataranutaporn+3 more|arXiv (Cornell University)|Sep 23, 2022

Misinformation and Its Impacts被引用数 4

ひとこと要約

本研究は、偽りのAI説明が人間の真偽判別タスクにおける判断に与える影響を調査する。128名の参加者を対象に2×2のランダム化実験を実施した結果、真実の見出しを誤って偽りと述べる、または偽りの見出しを真実と述べるという偽りのAI説明は、誠実な説明と同等に説得力があり、AIが人間か機械かと認識されても、判別精度を著しく低下させることがわかった。この結果は、AIが事実誤認であるにもかかわらずユーザーをだます可能性がある、人間と機械の意思決定システムにおける深刻な脆弱性を浮き彫りにしている。

ABSTRACT

The ability to discern between true and false information is essential to making sound decisions. However, with the recent increase in AI-based disinformation campaigns, it has become critical to understand the influence of deceptive systems on human information processing. In experiment (N=128), we investigated how susceptible people are to deceptive AI systems by examining how their ability to discern true news from fake news varies when AI systems are perceived as either human fact-checkers or AI fact-checking systems, and when explanations provided by those fact-checkers are either deceptive or honest. We find that deceitful explanations significantly reduce accuracy, indicating that people are just as likely to believe deceptive AI explanations as honest AI explanations. Although before getting assistance from an AI-system, people have significantly higher weighted discernment accuracy on false headlines than true headlines, we found that with assistance from an AI system, discernment accuracy increased significantly when given honest explanations on both true headlines and false headlines, and decreased significantly when given deceitful explanations on true headlines and false headlines. Further, we did not observe any significant differences in discernment between explanations perceived as coming from a human fact checker compared to an AI-fact checker. Similarly, we found no significant differences in trust. These findings exemplify the dangers of deceptive AI systems and the need for finding novel ways to limit their influence human information processing.

研究の動機と目的

• 人間と機械の意思決定文脈において、偽りのAI説明が真実と偽りのニュースを判別する能力に与える影響を検討すること。
• AIが人間か機械かと認識されても、誠実な説明と偽りの説明がユーザーの真実判別精度に与える影響を比較すること。
• ユーザーがAIの事実確認者を人間の事実確認者と同等に信頼するかどうか、およびその信頼が提供された説明の誠実性に影響を受けるかどうかを調査すること。
• 説明の質と認識された出典（人間対AI）が、ユーザーの判断やAI生成の事実確認に対する信頼に与える影響を評価すること。

提案手法

• 参加者128名を対象に、被験者間の2×2要因設計のランダム化実験を実施。参加者は、認識される出典（人間の事実確認者かAIの事実確認者か）と説明タイプ（誠実か偽りか）に基づいて条件に割り当てられた。
• GPT-3（davinci、temp=0.7）を用いて、14件の見出し（真実7件、偽り7件）を生成。各見出しに対して、1つの誠実な説明と1つの偽りの説明を、'これは真実／偽りである。なぜなら…'という形でプロンプトした。
• 意味的類似度と語の繰り返しを低くする基準で説明を選別し、事実性と論理的一致性を検証することで、バランスが取れて質の高い刺激物を確保した。
• 参加者の真実判別能力を、説明の提示前後で7段階リクルート尺度で測定し、各条件ごとに加重判別精度を算出した。
• 事実確認者に対する自己申告信頼度を収集し、条件間での信頼のダイナミクスを分析した。
• 条件間での判別精度と信頼度の差をt検定で比較し、性能や認識に有意差があるかどうかを検証した。

実験結果

リサーチクエスチョン

• RQ1 偽りのAI説明は、誠実な説明と比較して、ユーザーの真実と偽りのニュースを正しく識別する能力を低下させるか？
• RQ2 説明の出典（人間対AIの事実確認者）が、ユーザーの判別精度や信頼度に影響を与えるか？
• RQ3 説明の誠実性に関係なく、ユーザーはAIの事実確認者を人間の事実確認者と同等に信頼する傾向にあるか？
• RQ4 誠実な説明では判別精度が向上し、その傾向は見出しの真偽（真実対偽り）によって異なるか？

主な発見

• 偽りの説明は判別精度を著しく低下させ、真実の見出しでは平均で41.7％、偽りの見出しでは25.8％に低下した。一方、誠実な説明ではそれぞれ83.9％と79.3％であった。
• 人間の事実確認者から来た説明（M = 56.1％）とAIの事実確認者から来た説明（M = 57.6％）の間で、判別精度に有意差はなく、p = .427であった。
• 参加者の信頼度は、人間の事実確認者（M = 3.74）とAIの事実確認者（M = 3.72）の間で有意差がなく、p = .141であった。これは、両者に同等の信頼性が感じられたことを示している。
• 説明を受けた直前では、真実の見出し（M = 53.1％）よりも偽りの見出し（M = 62.7％）を正しく識別する能力が高かった（p = .000）。これは、真実の内容に対して初期段階で懐疑的になるバイアスがあることを示唆している。
• 誠実な説明では、真実の見出し（p = .000）と偽りの見出し（p = .000）の両方で判別精度が有意に向上した。これは、真実の説明が価値を持つことを確認した。
• 誠実な条件と偽りの条件の間で、説明の言語的特徴（語数、感情価、学年レベル、主観性）に統計的に有意差はなく、欺瞞は表面的なテキスト分析では検出できなかった。