[論文レビュー] Seeing ChatGPT Through Students' Eyes: An Analysis of TikTok Data

Anna‐Carolina Haensch, Sarah Ball+2 more|arXiv (Cornell University)|Mar 9, 2023

Artificial Intelligence in Healthcare and Education被引用数 14

ひとこと要約

この研究は、#chatgpt を含む英語の TikTok 動画100本（2023年2月）を分析し、学生の視点からテーマ、エンゲージメント、教育的含意を特徴づける。

ABSTRACT

Advanced large language models like ChatGPT have gained considerable attention recently, including among students. However, while the debate on ChatGPT in academia is making waves, more understanding is needed among lecturers and teachers on how students use and perceive ChatGPT. To address this gap, we analyzed the content on ChatGPT available on TikTok in February 2023. TikTok is a rapidly growing social media platform popular among individuals under 30. Specifically, we analyzed the content of the 100 most popular videos in English tagged with #chatgpt, which collectively garnered over 250 million views. Most of the videos we studied promoted the use of ChatGPT for tasks like writing essays or code. In addition, many videos discussed AI detectors, with a focus on how other tools can help to transform ChatGPT output to fool these detectors. This also mirrors the discussion among educators on how to treat ChatGPT as lecturers and teachers in teaching and grading. What is, however, missing from the analyzed clips on TikTok are videos that discuss ChatGPT producing content that is nonsensical or unfaithful to the training data.

研究の動機と目的

• TikTok から学生が ChatGPT についてどのように学ぶか、議論を支配するテーマは何かを理解する。
• ChatGPT に関連するプロモーションと批判的コンテンツ全体でのエンゲージメントパターン（いいね、シェア、視聴回数）を評価する。
• 学生の知識のギャップと教育・学術的誠実性への含意を特定する。

提案手法

• 2023年2月7日に収集された単一の日に、ハッシュタグ #chatgpt の英語版で最もいいねの多い100本の動画を収集する。
• 各動画について累積再生回数、いいね数、シェア数、クリエイターID を記録する。
• 反復的なコーダー合意を用いた手動のコンテンツ分類スキームを開発・適用する（著者2名、信頼性を確保するために乱択サンプルを検証）。
• Cohen’s kappa を用いて信頼性を評価する（報告値は 0.896）。
• 動画を主カテゴリ（Promotional、Critical、ChatGPTを用いたビジネス、The future of society、AI tools list、Entertainment）に分類し、最初の2カテゴリにはサブカテゴリを設ける。

Figure 1: Play, like, and share count for all the selected videos.

実験結果

リサーチクエスチョン

• RQ1 英語コンテンツの中で、最もいいねが多い TikTok 動画を支配するテーマとトピックは何か？
• RQ2 TikTok の ChatGPT 動画において、プロモーション系と批判系の動画のエンゲージメント指標（いいね、シェア、視聴回数）はどう比較されるか？
• RQ3 これらの上位動画に学術的な追求に関連する内容がどの程度含まれているか、そしてそれが教育実践とどう関連するか？

主な発見

カテゴリ	いいね	シェア	再生回数
Average Promotional	213,081	9,013	2,133,447
Average Critical	312,417	7,935	2,828,875

• 100本中53本はプロモーショナルで、ChatGPT を前向きに示している。
• 平均的なプロモーショナル動画: 213,081 いいね、9,013 シェア、2,133,447 再生。
• 平均的な批判的動画: 312,417 いいね、7,935 シェア、2,828,875 再生。
• 総プロモーショナル: 11,293,300 いいね、477,670 シェア、113,072,700 再生。
• 総批判的: 3,749,000 いいね、95,224 シェア、33,946,500 再生。
• Welch の二標本 t検定は、プロモーショナルと批判的の平均に有意差を示さなかったが、総合的なエンゲージメントはプロモーショナルコンテンツの方がはるかに多かった。

Figure 2: Play, like and share count for the selected videos, grouped by category.