[논문 리뷰] ChatGPT: A Meta-Analysis after 2.5 Months

Christoph Leiter, Ran Zhang외 5명|arXiv (Cornell University)|2023. 02. 20.

Artificial Intelligence in Healthcare and Education인용 수 23

한 줄 요약

본 논문은 ChatGPT 출시 2.5개월 후의 공공 인식, 감정 추세, 연구 주제를 평가하기 위해 300k건이 넘는 트윗과 150편이 넘는 과학 논문을 분석했으며, 전반적으로 높은 인식 품질을 보이나 언어 및 주제에 따른 차이가 있으며 학계에서의 기회와 위협이 혼재한다는 것을 발견했다.

ABSTRACT

ChatGPT, a chatbot developed by OpenAI, has gained widespread popularity and media attention since its release in November 2022. However, little hard evidence is available regarding its perception in various sources. In this paper, we analyze over 300,000 tweets and more than 150 scientific papers to investigate how ChatGPT is perceived and discussed. Our findings show that ChatGPT is generally viewed as of high quality, with positive sentiment and emotions of joy dominating in social media. Its perception has slightly decreased since its debut, however, with joy decreasing and (negative) surprise on the rise, and it is perceived more negatively in languages other than English. In recent scientific papers, ChatGPT is characterized as a great opportunity across various fields including the medical domain, but also as a threat concerning ethics and receives mixed assessments for education. Our comprehensive meta-analysis of ChatGPT's current perception after 2.5 months since its release can contribute to shaping the public debate and informing its future development. We make our data available.

연구 동기 및 목표

• ChatGPT가 소셜 미디어와 과학 문헌 전반에서 어떻게 인지되는지 평가한다.
• 출시 이후 시간에 따른 감정, 정서, 주제 분포를 정량화한다.
• 인식의 언어별 및 주제별 차이를 식별한다.
• 연구자들이 다양한 영역에서 ChatGPT를 기회로 또는 위협으로 기술하는 방식의 차이를 특성화한다.
• 공공 논의 및 개발 방향에 정보를 제공하기 위한 데이터와 주석을 제공한다.

제안 방법

• #ChatGPT 해시태그를 사용한 334,808건이 넘는 트윗을 수집하고 로봇 계정을 중복 제거한다.
• 비영어 트윗은 Facebook 다국어 모델을 사용해 영어로 번역한다.
• 영어에 대해 F1=71%인 198 백만 트윗으로 학습된 다국어 XLM-Roberta 모델로 트윗의 감정을 분류한다.
• 영어 주제 분류기가 124 백만 트윗을 사용해 19개 클래스로 학습되어 주간 감정, 언어별 추세, 주제 분포를 추론한다.
• GoEmotions 기반 분류기와 수동 확인을 사용하여 샘플 트윗의 감정과 정서를 주석 처리한다.
• Arxiv와 SemanticScholar 논문(≈150편)을 초록 기반 주석을 통해 품질, 주제 및 사회적 영향으로 분석한다.

Figure 1: Upper: weekly average of sentiment overall language (solid line), over English tweets (dotted line) and non-English tweets (dashed line). Lower: Tweet counts distribution and sentiment percentage change at weekly level aggregation.

실험 결과

연구 질문

• RQ1 소셜 미디어에서의 ChatGPT에 대한 전반적인 감정은 어떠하며 출시 후 처음 2.5개월 동안 어떻게 진화하는가?
• RQ2 감정과 주제는 언어 및 시간에 따라 어떻게 다르게 나타나는가?
• RQ3 어떤 주제들(과학기술, 교육, 뉴스, 일지, 비즈니스)이 토론을 지배하며 이것이 감정과 어떤 관련이 있는가?
• RQ4 과학 논문들은 ChatGPT를 품질, 주제 및 사회적 영향 측면에서 어떻게 기술하는가?
• RQ5 도메인 간 서로 다른 출처들이 강조하는 주된 한계점과 강점은 무엇인가?

주요 결과

• 소셜 미디오의 감정은 초기 상승 후 전반적으로 하향 추세를 보이며, 영어 트윗이 비영어 트윗보다 더 긍정적이다.
• 긍정적 감정은 초기 정점에 도달한 뒤 약간 감소하고, 중립적 감정은 시간이 지남에 따라 증가한다.
• 비중립 트윗은 기쁨과 놀람 감정이 지배적이며, 기쁨은 시간이 지남에 따라 감소하고 놀람은 보통 업데이트 이후 증가한다.
• 영어 트윗은 독일어, 프랑스어, 스페인어, 일본어보다 더 긍정적이며, 주제 분포가 일부 언어 차이를 설명한다.
• Arxiv와 SemanticScholar 논문은 대체로 ChatGPT를 고품질(4-5)로 평가하고 여러 영역에서 기회로 보나, 윤리 및 교육은 위협 또는 혼재된 영향으로 더 논쟁적이다.
• 교육 관련 논문은 기회와 위협 우려를 모두 나타내는 반면, 윤리 논문은 위협 쪽으로 기울이며; 전반적으로 Arxiv와 SemanticScholar 모두에서 연구 주의가 증가하고 있다.

Figure 2: Weekly sentiment distribution averaged per language