[논문 리뷰] Seeing ChatGPT Through Students' Eyes: An Analysis of TikTok Data

Anna‐Carolina Haensch, Sarah Ball외 2명|arXiv (Cornell University)|2023. 03. 09.

Artificial Intelligence in Healthcare and Education인용 수 14

한 줄 요약

요약: 이 연구는 #chatgpt를 달고 가장 많이 좋아요를 받은 영어 TikTok 100개 비디오를 분석하여 학생 관점에서 주제, 참여도, 교육적 시사점을 특징짓는다.

ABSTRACT

Advanced large language models like ChatGPT have gained considerable attention recently, including among students. However, while the debate on ChatGPT in academia is making waves, more understanding is needed among lecturers and teachers on how students use and perceive ChatGPT. To address this gap, we analyzed the content on ChatGPT available on TikTok in February 2023. TikTok is a rapidly growing social media platform popular among individuals under 30. Specifically, we analyzed the content of the 100 most popular videos in English tagged with #chatgpt, which collectively garnered over 250 million views. Most of the videos we studied promoted the use of ChatGPT for tasks like writing essays or code. In addition, many videos discussed AI detectors, with a focus on how other tools can help to transform ChatGPT output to fool these detectors. This also mirrors the discussion among educators on how to treat ChatGPT as lecturers and teachers in teaching and grading. What is, however, missing from the analyzed clips on TikTok are videos that discuss ChatGPT producing content that is nonsensical or unfaithful to the training data.

연구 동기 및 목표

• 학생들이 TikTok에서 ChatGPT를 어떻게 배우는지와 담론에서 지배적인 주제가 무엇인지 이해한다.
• ChatGPT 관련 홍보 및 비판적 콘텐츠에서의 참여 패턴(좋아요, 공유, 조회수)을 평가한다.
• 학생 지식의 격차와 교수 및 학문적 무결성에 대한 시사점을 식별한다.

제안 방법

• 하나의 날(2023년 2월 7일) 동안 수집된 #chatgpt를 포함한 영어 TikTok 동영상 중 100개를 수집한다.
• 각 동영상에 대해 누적 조회수, 좋아요, 공유, 제작자 ID를 기록한다.
• 반복적으로 코더 일치를 확인하는 수동 콘텐츠 분류 체계를 개발하고 적용한다(두 명의 저자; 신뢰성 확인을 위한 무작위 샘플 검사).
• 인터-랏터 신뢰도를 평가하기 위해 Cohen’s κ를 사용하고(보고 값은 0.896으로 제시).
• 앞의 두 카테고리에 대해 하위 범주를 포함한 주요 카테고리(홍보, 비판, ChatGPT로의 비즈니스, 사회의 미래, AI 도구 목록, 오락)로 동영상을 분류한다.

Figure 1: Play, like, and share count for all the selected videos.

실험 결과

연구 질문

• RQ1 영어 콘텐츠 중에서 ChatGPT에 대한 가장 많이 좋아요를 받은 TikTok 동영상에서 어떤 주제와 토픽이 지배적인가?
• RQ2 TikTok에서 홍보용 vs 비판적 ChatGPT 동영상 간의 참여 지표(좋아요, 공유, 조회수)는 어떻게 비교되는가?
• RQ3 상위 동영상들에서 학문적 추구와 관련된 콘텐츠의 정도는 어느 정도이며, 이는 교육 관행과 어떤 관련이 있는가?

주요 결과

범주	좋아요	공유	조회수
평균 홍보용	213,081	9,013	2,133,447
평균 비판용	312,417	7,935	2,828,875

• 100개 동영상 중 53개가 홍보적이고 ChatGPT를 긍정적으로 제시한다.
• 평균 홍보용 동영상: 213,081 좋아요, 9,013 공유, 2,133,447 조회수.
• 평균 비판용 동영상: 312,417 좋아요, 7,935 공유, 2,828,875 조회수.
• 총 홍보용: 11,293,300 좋아요, 477,670 공유, 113,072,700 조회수.
• 총 비판용: 3,749,000 좋아요, 95,224 공유, 33,946,500 조회수.
• Welch 두 표본 t-검정에서는 홍보용과 비판용의 평균 차이가 유의미하지 않다고 나타났으나, 홍보 콘텐츠가 총합에 대해 훨씬 더 많은 참여를 얻었다.

Figure 2: Play, like and share count for the selected videos, grouped by category.