[論文レビュー] Human heuristics for AI-generated language are flawed

Maurice Jakesch, Jeffrey T. Hancock+1 more|arXiv (Cornell University)|Jun 15, 2022

Ethics and Social Impacts of AISocial Sciences被引用数 18

ひとこと要約

本研究では、プロフェッショナル、ホスピタリティ、デートの文脈において、人間がAI生成の自己表現を一貫して検出できないことが示された。これは、第一人称代名詞、縮約形、家族関連の参照といった、誤ったヒューリスティックに依存しているためであり、その結果、AIの文章が「人間らしさを超える人間らしさ」に感じられるようになる。研究結果は、こうした直感的ヒューリスティックが予測可能で操作可能であることを示しており、合成言語の識別能力を損なう要因となっている。

ABSTRACT

Human communication is increasingly intermixed with language generated by AI. Across chat, email, and social media, AI systems suggest words, complete sentences, or produce entire conversations. AI-generated language is often not identified as such but presented as language written by humans, raising concerns about novel forms of deception and manipulation. Here, we study how humans discern whether verbal self-presentations, one of the most personal and consequential forms of language, were generated by AI. In six experiments, participants (N = 4,600) were unable to detect self-presentations generated by state-of-the-art AI language models in professional, hospitality, and dating contexts. A computational analysis of language features shows that human judgments of AI-generated language are hindered by intuitive but flawed heuristics such as associating first-person pronouns, use of contractions, or family topics with human-written language. We experimentally demonstrate that these heuristics make human judgment of AI-generated language predictable and manipulable, allowing AI systems to produce text perceived as "more human than human." We discuss solutions, such as AI accents, to reduce the deceptive potential of language generated by AI, limiting the subversion of human intuition.

研究の動機と目的

• 人間が自然言語の文脈においてAI生成の自己表現を信頼性を持って検出できるかどうかを調査すること。
• 人間が言語が人間によって書かれたものかAIによって書かれたものかを判断する際に用いる直感的ヒューリスティックを同定すること。
• こうしたヒューリスティックが、AI生成テキストに対する人間の判断に系統的な誤りを引き起こすメカニズムを検討すること。
• AIシステムがこれらのヒューリスティックを活用することで、実際の人間の文章よりも「人間らしさが強い」と感じられる文章を生成できるかどうかを評価すること。
• AIの文章生成による欺瞞のリスクを低減するための解決策として、AIアクセントの導入を提案すること。

提案手法

• プロフェッショナル、ホスピタリティ、デートの自己表現という多様な文脈で、合計4,600名の参加者を対象にした6つの制御実験を実施した。
• 最先端の言語モデルを用いて、スタイルと内容の両面で人間の文章を模倣したAI生成の自己表現を作成した。
• 言語的特徴の計算的分析を用いて、人間らしさに感じられる要因とされるパターンを同定した。
• 人間の検出精度を測定し、特定のヒューリスティック（例：人称代名詞、縮約形、家族関連）への依存を特定するため、反応パターンを分析した。
• 統計的モデリングを用いて、ヒューリスティックに基づく判断が予測可能で、AIによって操作可能かどうかを検証した。
• 「AIアクセント」としての概念を提唱し、透明性を高め、欺瞞を低減するための検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 人間は現実世界のコミュニケーション文脈において、AI生成の自己表現を信頼性を持って検出できるか？
• RQ2 人間は、言語が人間によって書かれたものかAIによって書かれたものかを判断する際に、どのような直感的ヒューリスティックを用いるか？
• RQ3 これらのヒューリスティックはどの程度誤りであり、AIがそれらを操作することで「人間らしさを超える人間らしさ」に感じられる文章を生成できるか？
• RQ4 第一人称代名詞、縮約形、家族関連の参照といった言語的特徴が、人間の「本物らしさ」への認識にどのように影響を与えるか？
• RQ5 「AIアクセント」は、合成テキストの識別性を高め、AI生成言語の欺瞞的潜在能力を低減できるか？

主な発見

• 参加者は、すべての文脈において、偶然より有意に高い割合でAI生成の自己表現を検出できず、検出精度の平均は50％未満にとどまった。
• 人間は、第一人称代名詞（例：「私」、「私を」）、縮約形（例：「しない」、「私は」）、家族関連の参照を、人間の文章と強く関連づけていたが、これらはAI出力でも一般的に見られる特徴であった。
• これらのヒューリスティックは予測可能で、操作可能であった：AIシステムは、実際の人間の文章よりも「人間らしさ」のスコアが高い文章を生成できた。
• 本研究では、AI生成テキストが人間の認知バイアスを活用することで、「人間らしさを超える人間らしさ」として認識され得ることを実証した。
• 計算的分析により、人間らしさに感じられる最も顕著な言語的特徴が、同時にAIによって最も操作可能であることが確認された。
• 本研究の結果は、欺瞞的言語生成を是正するための透明性メカニズム（例：「AIアクセント」）の導入の必要性を支持する。