[論文レビュー] Last Week with ChatGPT: A Weibo Study on Social Perspective Regarding ChatGPT for Education and Beyond

Yao Tian, Chengwei Tong+4 more|arXiv (Cornell University)|Jun 7, 2023

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

本研究は、中国のソーシャルメディアにおけるChatGPTおよびGPT-4に関するWeiboデータを用いて、公共の世論、GPT-4発表後の態度の変化、教育分野および人間とAIの相互作用に関する懸念を分析する。認識に慎重ながらも徐々に肯定的傾向に変化していることが判明し、プライバシー、バイアス、学術的誠実性、過度な依存といった主な懸念が浮き彫りになった。これにより、教育および社会における倫理的AI導入のための6つの根拠に基づいた提言がなされた。

ABSTRACT

The application of AI-powered tools has piqued the interest of many fields, particularly in the academic community. This study uses ChatGPT, currently the most powerful and popular AI tool, as a representative example to analyze how the Chinese public perceives the potential of large language models (LLMs) for educational and general purposes. Although facing accessibility challenges, we found that the number of discussions on ChatGPT per month is 16 times that of Ernie Bot developed by Baidu, the most popular alternative product to ChatGPT in the mainland, making ChatGPT a more suitable subject for our analysis. The study also serves as the first effort to investigate the changes in public opinion as AI technologies become more advanced and intelligent. The analysis reveals that, upon first encounters with advanced AI that was not yet highly capable, some social media users believed that AI advancements would benefit education and society, while others feared that advanced AI, like ChatGPT, would make humans feel inferior and lead to problems such as cheating and a decline in moral principles. The majority of users remained neutral. Interestingly, with the rapid development and improvement of AI capabilities, public attitudes have tended to shift in a positive direction. We present a thorough analysis of the trending shift and a roadmap to ensure the ethical application of ChatGPT-like models in education and beyond.

研究の動機と目的

• 中国のソーシャルメディアにおけるChatGPTの教育分野およびその他の応用分野への利用に対する一般的な世論を理解すること。
• GPT-4の発表が、AIチャットボットに対する一般世論および態度にどのように影響を与えたかを調査すること。
• 特に教育分野において、AIと人間の協働に関する公的な懸念を特定し、分析すること。
• 教育および社会における大規模言語モデル（LLM）であるChatGPTの倫理的かつ責任ある導入を支援する、実行可能で根拠に基づいた提言を提供すること。

提案手法

• 中国最大のマイクロブログプラットフォームとしてのWeiboから、'ChatGPT'および関連キーワードを含む投稿をクロールした。
• 投稿を主に2つのテーマに分類した：教育分野におけるAI、および人間とAIの相互作用。各テーマに3つのサブシナリオを設定した。
• 感情分析とトピックモデリングを実施し、一般世論の認識を評価し、主な懸念事項を特定した。
• GPT-4発表前後における感情と議論の変化を追跡し、態度の変化を検出するための分析を行った。
• 定性的および定量的分析を用いて、プライバシー、バイアス、学術的誠実性、過度な依存といった繰り返し現れるテーマを抽出した。
• 研究結果に基づき、教育および公的相互作用における倫理的AI利用を促進するための6つの的を絞った提言を提示した。

実験結果

リサーチクエスチョン

• RQ1 中国のソーシャルメディアプラットフォームにおいて、ChatGPTのような画期的なAIイノベーションに対する一般的な世論はどのようなものか？
• RQ2 より強力なAI製品、GPT-4の発表が、このような応用分野に対する一般世論にどのように影響を与えたか？
• RQ3 特に教育分野において、AIと人間の協働や相互作用に関して、一般に共有されている懸念や問題は何か？

主な発見

• GPT-4発表以前は、中国のWeiboユーザーの多くが教育分野におけるChatGPTに対して中立的であったが、否定的認識が肯定的認識を上回っていた。
• GPT-4の発表により、肯定的認識へのシフトが明確に観察されたが、依然として中立的かつ慎重な姿勢が支配的である。
• 主な懸念として、プライバシー侵害、コンテンツバイアス、不正確さ、教育の公平性への悪影響、AIツールへの過度な依存が挙げられる。
• 一般世論の議論からは、不正行為、独自性の喪失、アルゴリズムによる差別的影響といった倫理的リスクへの意識の高まりが明らかになった。
• 特に学術的文脈において、AI生成コンテンツに対する信頼の欠如が顕著であり、事実誤認や模造の懸念が背景にある。
• 楽観的な傾向が高まる一方で、多数のユーザーはChatGPTのような高度なLLMが長期的に社会に与える影響について懐疑的である。