[논문 리뷰] Last Week with ChatGPT: A Weibo Study on Social Perspective Regarding ChatGPT for Education and Beyond

Yao Tian, Chengwei Tong외 4명|arXiv (Cornell University)|2023. 06. 07.

Artificial Intelligence in Healthcare and Education인용 수 6

한 줄 요약

이 연구는 중국의 소셜 미디어 논의를 Weibo 데이터를 통해 분석하여 ChatGPT와 GPT-4에 대한 공중의 감정, GPT-4 출시 후 태도 변화, 교육 및 인간-AI 상호작용과 관련된 우려를 조사한다. 연구 결과, 인식은 경계심을 품고 있음에도 점차 긍정적인 방향으로 변화하고 있으며, 개인정보 유출, 편향, 학문적 정직성, 과도한 의존성 등의 주요 우려 사항이 확인되어 교육 및 사회 전반에 걸친 윤리적 AI 도입을 위한 여섯 가지 근거 기반 권고안을 도출한다.

ABSTRACT

The application of AI-powered tools has piqued the interest of many fields, particularly in the academic community. This study uses ChatGPT, currently the most powerful and popular AI tool, as a representative example to analyze how the Chinese public perceives the potential of large language models (LLMs) for educational and general purposes. Although facing accessibility challenges, we found that the number of discussions on ChatGPT per month is 16 times that of Ernie Bot developed by Baidu, the most popular alternative product to ChatGPT in the mainland, making ChatGPT a more suitable subject for our analysis. The study also serves as the first effort to investigate the changes in public opinion as AI technologies become more advanced and intelligent. The analysis reveals that, upon first encounters with advanced AI that was not yet highly capable, some social media users believed that AI advancements would benefit education and society, while others feared that advanced AI, like ChatGPT, would make humans feel inferior and lead to problems such as cheating and a decline in moral principles. The majority of users remained neutral. Interestingly, with the rapid development and improvement of AI capabilities, public attitudes have tended to shift in a positive direction. We present a thorough analysis of the trending shift and a roadmap to ensure the ethical application of ChatGPT-like models in education and beyond.

연구 동기 및 목표

• 중국 소셜 미디어에서 ChatGPT의 교육 분야 및 기타 응용 분야 활용에 대한 주로 지배적인 감정을 이해하기 위해.
• GPT-4의 출시가 AI 챗봇에 대한 공중의 인식과 태도에 어떤 영향을 미쳤는지 조사하기 위해.
• 특히 교육 분야에서의 인간-AI 협업과 관련된 공중의 우려 사항을 특정하고 분석하기 위해.
• ChatGPT와 같은 대규모 언어 모델(LLM)의 교육 및 사회 전반에 걸친 윤리적이고 책임감 있는 배포를 위한 실행 가능한, 근거 기반 권고안을 제공하기 위해.

제안 방법

• 중국 최대의 마이크로블로깅 플랫폼인 Weibo에서 'ChatGPT' 및 관련 키워드를 포함한 게시물을 크롤링하였다.
• 게시물을 주로 두 가지 주제로 분류: 교육용 AI와 인간-AI 상호작용으로, 각 주제에 하위 세 가지 시나리오를 설정하였다.
• 공중의 인식 평가 및 주요 우려 사항 파악을 위해 정서 분석과 토픽 모델링을 수행하였다.
• GPT-4 출시 전후의 정서 변화를 추적하여 태도 변화를 탐지하였다.
• 정성적 및 정량적 분석을 통해 개인정보, 편향, 학문적 정직성, 과도한 의존성 등의 반복적인 주제를 도출하였다.
• 연구 결과를 바탕으로 교육 및 사회적 상호작용에서 윤리적인 AI 사용을 이끌기 위한 여섯 가지 구체적 권고안을 제안하였다.

실험 결과

연구 질문

• RQ1 중국 소셜 미디어 플랫폼에서 ChatGPT와 같은 혁신적 AI 기술에 대한 주로 지배적인 감정은 무엇인가?
• RQ2 더 강력한 AI 제품인 GPT-4의 출시가 이러한 응용 분야에 대한 공중의 태도에 어떤 영향을 미치는가?
• RQ3 특히 교육 분야에서 인간-AI 협업 및 상호작용과 관련하여 공중이 일반적으로 가지는 우려 사항과 문제는 무엇인가?

주요 결과

• GPT-4 출시 이전에는 대부분의 중국 Weibo 사용자들이 교육 분야에서 ChatGPT에 대해 중립적인 태도를 취했으며, 부정적인 감정이 긍정적인 감정을 압도했다.
• GPT-4의 출시로 인해 공중의 인식이 명확히 긍정적으로 변화했지만, 여전히 중립성과 경계심이 지배적인 상태를 유지하고 있다.
• 주요 우려 사항으로는 개인정보 침해, 콘텐츠 편향, 정확도 결여, 교육의 공정성 훼손, AI 도구에 대한 과도한 의존성 등이 있다.
• 공중 논의를 통해 도용, 창의성 상실, 알고리즘적 차별 등의 윤리적 리스크에 대한 인식이 점점 커지고 있음을 확인할 수 있다.
• 특히 학술적 맥락에서 AI가 생성한 콘텐츠에 대한 신뢰도가 떨어지며, 사실 오류와 표절 우려로 인해 신뢰가 떨어지고 있다.
• 긍정적인 기대감이 증가하고 있음에도 불구하고, 대부분의 사용자들은 ChatGPT와 같은 고급 LLM의 장기적 사회적 영향에 대해 여전히 회의적이다.