[論文レビュー] AI Chat Assistants can Improve Conversations about Divisive Topics

Lisa P. Argyle, Ethan C. Busby+5 more|arXiv (Cornell University)|Feb 14, 2023

Social Media and Politics被引用数 12

ひとこと要約

GPT-3 に基づくチャットアシスタントが銃規制に関するオンラインの会話にリアルタイムの言い換え提案を提供し、理解の知覚と民主的相互性を高める一方で、政策態度を変えない。

ABSTRACT

A rapidly increasing amount of human conversation occurs online. But divisiveness and conflict can fester in text-based interactions on social media platforms, in messaging apps, and on other digital forums. Such toxicity increases polarization and, importantly, corrodes the capacity of diverse societies to develop efficient solutions to complex social problems that impact everyone. Scholars and civil society groups promote interventions that can make interpersonal conversations less divisive or more productive in offline settings, but scaling these efforts to the amount of discourse that occurs online is extremely challenging. We present results of a large-scale experiment that demonstrates how online conversations about divisive topics can be improved with artificial intelligence tools. Specifically, we employ a large language model to make real-time, evidence-based recommendations intended to improve participants' perception of feeling understood in conversations. We find that these interventions improve the reported quality of the conversation, reduce political divisiveness, and improve the tone, without systematically changing the content of the conversation or moving people's policy attitudes. These findings have important implications for future research on social media, political deliberation, and the growing community of scholars interested in the place of artificial intelligence within computational social science.

研究の動機と目的

• AI ベースのリアルタイム言い換えが、オンラインの政治的会話における理解の知覚を改善できるかを実証する。
• このような介入が、参加者の政策態度を変えずに民主的相互性を促進するかを検証する。
• AI 指導が会話のトーンに影響を与えるが、主題の内容を変えないかを評価する。
• AI介入が片方の参加者に適用された場合とパートナーに適用された場合の差異効果を評価する。
• 分裂的なトピックに対するAI支援型会話介入のスケーラビリティを検討する。

提案手法

• 米国で銃規制に関する討論を対象とした大規模なオンライン現場実験を実施する。
• GPT-3 搭載のチャットアシスタントを用いて、ライブ会話中に3つの文脈対応の言い換え（再表現、検証、丁寧さ）を提案する。
• チャットごとにランダムに1名の参加者をAI提案の受け手として割り当て、相手は介入を受ける場合と受けない場合がある。
• 会話後の調査を通じて会話の質と民主的相互性を測定する。
• トーンの変化と話題の保持を検証するためにテキストを分析し、治療効果についてはプラセボ対照のサブグループ分析を用いる。

Figure 1: Treated Conversation Flow : Respondents write messages unimpeded until one partner receives a rephrasing prompt for the first message longer than four words, and every other conversational turn thereafter. The chat assistant intercepts the treated user’s message, using GPT-3 to propose evi

実験結果

リサーチクエスチョン

• RQ1 AI 支援の言い換えは、政治的対立相手との会話で参加者が理解されていると感じる認識を高めるか？
• RQ2 AI が生成する介入は、政治体系全体において対戦相手への民主的相互性を高めるか？
• RQ3 これらの介入は参加者またはパートナーの実質的な政策態度を変えるか？
• RQ4 処置を受けた個人のパートナーの方が、処置を受けた個人自身より効果が大きいか？

主な発見

• AI 言い換えにより、メッセージの丁寧さ、検証、再表現の特徴が増加した。
• 処置を受けた個人のパートナーは、会話の質と民主的相互性が高いと報告した。
• 全介入は、パートナーに対して民主的相互性を約6ポイント増加させた。
• AI介入が参加者の銃規制に関する態度を変えたという証拠はなかった。
• 効果は初期の意見対立が強い会話で最も顕著で、短期的にしか持続しなかった。

Figure 2: Text analysis of rephrased messages tone : Marginal difference, with 95% confidence intervals, between rephrased message scores on five politeness package features, and baseline scores from participants’ original messages they would have sent had they not chosen the rephrasing.