[논문 리뷰] Excitements and Concerns in the Post-ChatGPT Era: Deciphering Public Perception of AI through Social Media Analysis

Weihong Qi, Jinsheng Pan외 2명|arXiv (Cornell University)|2023. 07. 11.

Misinformation and Its Impacts인용 수 10

한 줄 요약

논문은 BERTopic를 이용한 주제 모델링, 제로샷 감정 분석, LIWC 기반의 언어 특징을 통해 ChatGPT 이후의 Reddit에서의 AI에 대한 대중 인식을 388개 서브레딧과 33,912개의 코멘트에 걸쳐 분석한다.

ABSTRACT

As AI systems become increasingly prevalent in various aspects of daily life, gaining a comprehensive understanding of public perception towards these AI systems has become increasingly essential for several reasons such as ethical considerations, user experience, fear, disinformation, regulation, collaboration, and co-creation. In this study, we investigate how mass social media users perceive the recent rise of AI frameworks such as ChatGPT. We collect a total of 33,912 comments in 388 unique subreddits spanning from November 30, 2022 to June 8, 2023 using a list of AI-related keywords. We employ BERTopic to uncover the major themes regarding AI on Reddit. Additionally, we seek to gain deeper insights into public opinion by examining the distribution of topics across different subreddits. We observe that technology-related subreddits predominantly focus on the technical aspects of AI models. On the other hand, non-tech subreddits show greater interest in social issues such as concerns about job replacement or furlough. We leverage zero-shot prompting to analyze the sentiment and perception of AI among individual users. Through a comprehensive sentiment and emotion analysis, we discover that tech-centric communities exhibit greater polarization compared to non-tech communities when discussing AI topics. This research contributes to our broader understanding of public opinion surrounding artificial intelligence.

연구 동기 및 목표

• 대중 소셜 미디어 사용자들이 AI 프레임워크(예: ChatGPT)의 부상에 대해 어떻게 인식하는지 이해한다.
• 다양한 Reddit 커뮤니티 전반에 걸쳐 주요 주제와 주제 분포를 식별한다.
• 주제와 서브레딧 간의 감정 및 정서적 톤을 examines하여 기술 중심과 비기술 그룹 간의 차이를 밝힌다.

제안 방법

• AI 관련 키워드를 사용하여 388개 서브레딧에서 33,912개의 Reddit 코멘트를 수집한다(2022-11-30 – 2023-06-08).
• BERTopic을 전체-MiniLM-L6-v2 임베딩으로 적용하여 232개의 주제를 추출한다(16개의 이상치 제거).
• 감정 레이블(Positive, Neutral, Negative)을 위해 제로샷 프롬프트(gpt-3.5-turbo)를 사용하고 키워드 기반 집계를 통해 최종 감정을 부여한다.
• Tone, Emotion, Prosocial, Conflict 메트릭을 얻기 위해 LIWC 기반의 언어 분석을 수행한다.
• LIWC 속성을 tech-centric 서브레딧과 비-tech 서브레딧 간에 비교하기 위해 선형 회귀를 수행한다(Tech를 이진 변수로 사용).
• 커뮤니티 간 주제 분포와 감정을 매핑하기 위해 크로스-서브레딧 분석을 수행한다.

실험 결과

연구 질문

• RQ1 RQ1: Reddit에서 AI 토론을 특징짓는 주제는 무엇이며 서브레딧에 따라 어떻게 달라지는가?
• RQ2 RQ2: 가장 많이 논의되는 주제에 대한 일반적 감정은 무엇이며 서브레딧 간에 감정이 다른가?

주요 결과

• 가장 중요한 주제에는 AI의 의식과 지능, 게임 및 전략에서의 AI, AI 모델 및 프롬프트 공학, OpenAI와 AI 산업, AI와 직업 자동화가 포함된다.
• 기술 중심의 서브레딧은 기술적 측면에 더 초점을 두는 반면, 비기술 서브레딧은 직업 대체 및 프라이버시와 같은 사회적 함의에 주목한다.
• 기술 커뮤니티는 더 높은 긍정적 어조와 더 높은 전반적 정서 표현을 보이며 감정의 양극화가 더 크다.
• 기술 서브레딧은 더 높은 Prosocial 점수를 보여 AI 논의에서 돕기/배려를 더 많이 신호한다.
• 서브레딧 전반에 걸쳐 여러 주제에서 긍정적 감정이 더 높은 반면(예: Gaming 및 Strategy에서의 AI, AI가 사회에 미치는 잠재적 영향), 일부 주제는 더 부정적 감정을 보인다(예: Consciousness와 Intelligence, AI 산업, 직업 자동화).
• 크로스-서브레딧 분석은 Consciousness/Intelligence, OpenAI/AI Industry, AI와 직업 자동화의 세 가지 주제가 여러 서브레딧에 걸쳐 특히 만연하다는 것을 시사한다.