[논문 리뷰] Artificial intelligence in communication impacts language and social relationships

Jess Hohenstein, Dominic DiFranzo외 7명|arXiv (Cornell University)|2021. 02. 10.

Misinformation and Its Impacts인용 수 6

한 줄 요약

이 연구는 1,036명의 참가자를 대상으로 한 두 개의 무작위 실험을 통해 실시간 메시징에서 인공지능 기반 스마트 응답의 사회적 및 언어적 영향을 조사한다. 스마트 응답은 의사소통의 효율성과 긍정적인 정서 언어를 증가시키지만, 사용자가 이를 사용하고 있다고 의심받을 경우 부정적으로 평가되는 것으로 나타나, AI가 상호작용의 질을 향상시키지만 동시에 인식된 진정성은 훼손한다는 역설을 드러낸다.

ABSTRACT

Artificial intelligence (AI) is now widely used to facilitate social interaction, but its impact on social relationships and communication is not well understood. We study the social consequences of one of the most pervasive AI applications: algorithmic response suggestions ("smart replies"). Two randomized experiments (n = 1036) provide evidence that a commercially-deployed AI changes how people interact with and perceive one another in pro-social and anti-social ways. We find that using algorithmic responses increases communication efficiency, use of positive emotional language, and positive evaluations by communication partners. However, consistent with common assumptions about the negative implications of AI, people are evaluated more negatively if they are suspected to be using algorithmic responses. Thus, even though AI can increase communication efficiency and improve interpersonal perceptions, it risks changing users' language production and continues to be viewed negatively.

연구 동기 및 목표

• 스마트 응답을 포함한 인공지능 매개 커뮤니케이션이 인간 간 소통 및 사회적 인식에 미치는 영향를 이해하는 것.
• 알고리즘 기반 응답 제안의 사용이 실시간 메시징에서 언어 생산, 정서적 어조 및 관계 평가에 미치는 영향를 조사하는 것.
• AI가 의사소통에 미치는 双중 효과를 조사하는 것: 효율성과 긍정성을 높이지만 동시에 진정성과 신뢰를 훼손할 수 있음.
• 사용자가 AI 사용을 의심할 수 있는 상황에서 인간 간 소통에 AI가 초래하는 사회적 영향을 탐구하는 것.
• 일상 커뮤니케이션에서 널리 사용되는 AI 도구인 스마트 응답의 사회적 영향에 대한 실증적 증거를 제공하는 것.

제안 방법

• 실시간 텍스트 대화를 시뮬레이션하기 위해 자체 개발한 웹 기반 메시징 애플리케이션을 사용해 1,036명의 참가자를 대상으로 두 개의 무작위 대조 실험을 수행했다.
• 다른 조건에서 참가자들에게 스마트 응답의 유무 및 유형(긍정적, 부정적, 구글 생성, 또는 없음)을 조작했다.
• 메시지의 정서 어조를 측정하기 위해 VADER와 LIWC를 사용해 자동화된 정서 및 영향 분석을 수행했다.
• 대화 후 표준화된 척도(수정된 인터퍼스널 어휘 척도, 인지된 협력도)를 사용해 인간관계 인식 데이터를 수집했다.
• 개인 수준의 스마트 응답 조건이 언어 및 인식 결과에 미치는 영향를 분석하기 위해 군집 로버스트 표준오차를 적용한 선형 회귀 분석을 수행했다.
• VADER 기반 결과를 검증하기 위해 보다 다른 정서 분석 도구(LIWC)를 사용해 복수성 검증을 수행했다.

실험 결과

연구 질문

• RQ1 인공지능이 생성한 스마트 응답의 사용이 메시지의 의사소통 효율성과 정서 어조에 어떤 영향을 미치는가?
• RQ2 스마트 응답을 사용하는 사람에 대해 의사소통 파트너가 어떻게 평가하는가, 특히 AI 사용을 의심할 경우 어떻게 되는가?
• RQ3 긍정적, 부정적, 상용으로 배포된 스마트 응답이 인간관계 인식과 대화 정서에 미치는 차별적 영향는 무엇인가?
• RQ4 스마트 응답의 존재가 인지된 협력도 및 지배성, 유대감과 같은 인터퍼스널 특성에 영향을 미치는가?
• RQ5 사용자가 파트너가 AI를 사용해 응답을 생성하고 있다고 믿을 경우, 진정성과 신뢰에 대한 인식은 어떻게 변화하는가?

주요 결과

• 스마트 응답 사용은 의사소통의 효율성을 뚜렷이 향상시켰으며, 참가자들이 더 빠르게 메시지를 전송하고 더 낮은 인지 부하를 경험했다.
• 스마트 응답이 포함된 대화에서는 긍정적인 정서 언어 수준이 높아졌으며, 정서 점수에서 표준화된 효과 크기 27.2% (Cohen’s d = 0.272, p < 0.001)를 기록했다.
• 스마트 응답을 사용한 참가자들은 특히 구글 생성 또는 긍정적 스마트 응답을 사용했을 경우 더 협력적이고 유대감 있는 성향이 있다고 평가받았다.
• 참가자들이 파트너가 스마트 응답을 사용하고 있다고 의심할 경우, 그 파트너를 더 부정적으로 평가했으며, 이는 AI 매개 커뮤니케이션에 대한 낙인 효과를 보여준다.
• 부정적 스마트 응답은 대화 정서에 강력한 악영향을 미쳤으며, 제어 조건 대비 큰 효과 크기(Cohen’s d = 0.454, p < 0.001)로 정서 수준을 감소시켰다.
• 정서 분석 도구의 다양성에 관계없이 결과는 강력하게 유지되었으며, VADER와 LIWC 모두 스마트 응답이 대화의 전반적인 정서와 긍정성을 높인다는 것을 확인했다.