[논문 리뷰] AI Chat Assistants can Improve Conversations about Divisive Topics

Lisa P. Argyle, Ethan C. Busby외 5명|arXiv (Cornell University)|2023. 02. 14.

Social Media and Politics인용 수 12

한 줄 요약

GPT-3 기반 채팅 도우미가 총기 정책에 관한 온라인 대화에 실시간 재진술 제안을 제공하여 이해도 인식과 민주적 상호성(특히 대화 상대방)을 높이되 정책 태도는 바꾸지 않는다.

ABSTRACT

A rapidly increasing amount of human conversation occurs online. But divisiveness and conflict can fester in text-based interactions on social media platforms, in messaging apps, and on other digital forums. Such toxicity increases polarization and, importantly, corrodes the capacity of diverse societies to develop efficient solutions to complex social problems that impact everyone. Scholars and civil society groups promote interventions that can make interpersonal conversations less divisive or more productive in offline settings, but scaling these efforts to the amount of discourse that occurs online is extremely challenging. We present results of a large-scale experiment that demonstrates how online conversations about divisive topics can be improved with artificial intelligence tools. Specifically, we employ a large language model to make real-time, evidence-based recommendations intended to improve participants' perception of feeling understood in conversations. We find that these interventions improve the reported quality of the conversation, reduce political divisiveness, and improve the tone, without systematically changing the content of the conversation or moving people's policy attitudes. These findings have important implications for future research on social media, political deliberation, and the growing community of scholars interested in the place of artificial intelligence within computational social science.

연구 동기 및 목표

• AI 기반 실시간 재진술이 온라인 정치 대화에서 인지된 이해를 향상시킬 수 있는지 입증한다.
• 이러한 개입이 참여자들의 정책 태도를 바꾸지 않으면서 민주적 상호성을 촉진하는지 테스트한다.
• 주제 내용의 변경 없이 AI 지도가 대화의 어조에 영향을 미치는지 평가한다.
• AI 개입이 한 참가자 versus 그들의 파트너에게 적용될 때 차별 효과를 평가한다.
• 논쟁적인 주제에 대한 AI 보조 대화 개입의 확장 가능성을 탐색한다.

제안 방법

• 미국에서 총기 정책 토론을 대상으로 한 대규모 온라인 현장 실험을 수행한다.
• 실시간 대화 중 맥락에 맞는 재진술 세 가지(재진술, 확인, 정중함)를 제안하도록 GPT-3 기반 채팅 어시스턴트를 사용한다.
• 채팅당 한 참가자를 무작위로 AI 제안을 받도록 배정하고 파트너는 처리 여부가 다를 수 있다.
• 대화 후 설문조사를 통해 대화 품질과 민주적 상호성을 측정한다.
• 대화 텍스트를 분석해 어조 변화와 주제 보존 여부를 확인하고, 처리 효과에 대해 위약 대조 하위집단 분석을 사용한다.

Figure 1: Treated Conversation Flow : Respondents write messages unimpeded until one partner receives a rephrasing prompt for the first message longer than four words, and every other conversational turn thereafter. The chat assistant intercepts the treated user’s message, using GPT-3 to propose evi

실험 결과

연구 질문

• RQ1 AI 보조 재진술이 정치적 반대자와의 대화에서 참가자들이 이해받고 있다고 인식하는 정도를 증가시키는가?
• RQ2 AI로 생성된 개입이 정치 체계 전반에서 상대방에 대한 민주적 상호성을 향상시키는가?
• RQ3 이러한 개입이 참가자나 그들의 파트너의 실질적 정책 태도를 바꾸는가?
• RQ4 처리된 개인의 파트너에서의 효과가 실제로 처리된 개인 자신보다 더 큰가?

주요 결과

• 참가자들이 선택한 AI 재진술은 메시지에서 정중함, 확인 및 재진술 특성을 증가시켰다.
• 처리된 개인의 파트너들은 대화 품질과 민주적 상호성이 더 높다고 보고했다.
• 전체 처리에서 파트너의 민주적 상호성은 약 6퍼센트 포인트 증가했다.
• AI 개입이 참가자의 총기 정책 태도를 바꿨다는 근거가 없었다.
• 초반의 불일치가 더 컸던 대화에서 효과가 가장 강했고 단기간에만 지속됐다.

Figure 2: Text analysis of rephrased messages tone : Marginal difference, with 95% confidence intervals, between rephrased message scores on five politeness package features, and baseline scores from participants’ original messages they would have sent had they not chosen the rephrasing.