[論文レビュー] "The teachers are confused as well": A Multiple-Stakeholder Ethics Discussion on Large Language Models in Computing Education

Kyrie Zhixuan Zhou, Zachary Kilhoffer+6 more|arXiv (Cornell University)|Jan 23, 2024

Text Readability and Simplification被引用数 11

ひとこと要約

この論文は、LLMsを用いる計算機教育における倫理的懸念、心的モデル、政策ニーズを探るため、20名のCS教育関係者を対象とした質的ケーススタディを提示します。

ABSTRACT

Large Language Models (LLMs) are advancing quickly and impacting people's lives for better or worse. In higher education, concerns have emerged such as students' misuse of LLMs and degraded education outcomes. To unpack the ethical concerns of LLMs for higher education, we conducted a case study consisting of stakeholder interviews (n=20) in higher education computer science. We found that students use several distinct mental models to interact with LLMs - LLMs serve as a tool for (a) writing, (b) coding, and (c) information retrieval, which differ somewhat in ethical considerations. Students and teachers brought up ethical issues that directly impact them, such as inaccurate LLM responses, hallucinations, biases, privacy leakage, and academic integrity issues. Participants emphasized the necessity of guidance and rules for the use of LLMs in higher education, including teaching digital literacy, rethinking education, and having cautious and contextual policies. We reflect on the ethical challenges and propose solutions.

研究の動機と目的

• 複数の利害関係者から見た高等教育のCS教育におけるLLMの利用に関する倫理的懸念を検討する。
• 学生と教員がコーディング、執筆、情報検索の課題においてLLMsをどのように概念化し、どのように相互作用するかを特定する。
• CS教育におけるLLMの利用を分類し、その倫理的影響を整理する心的モデル枠組みを開発する。
• 教育関連のガイドラインについて、利害関係者の提案を要約して政策とガバナンスの議論に情報提供する。

提案手法

• 学生、教授、産業実務家を含む20名のCS教育関係者を対象に、深入りインタビューを実施した。
• インタビュー資料の文字起こしとコード化にテーマ分析（Braun and Clarke, 2012）を適用した。
• オープン帰納的コーディングと反復的議論を用いてテーマと階層構造を導出した。
• 参加者の回答に基づき、3-model 心的モデル（Writing Tool、Coding Tool、Information Tool）を定義・洗練した。
• ChatGPT-3.5の経験を他のAIツールと比較し、利用と倫理の文脈を整えた。

実験結果

リサーチクエスチョン

• RQ1 高等教育におけるLLMの利用について、CS教育の利害関係者はどのような倫理的懸念を認識しているか？
• RQ2 異なる利害関係者は、執筆、コーディング、情報検索の課題においてLLMsをどのように説明し、どのように相互作用するか？
• RQ3 CS教育における倫理的で効果的なLLM利用を支える政策・ガバナンスの仕組みは、利害関係者によってどのように提案されているか？
• RQ4 LLMをめぐるCS教育の政策と実践を導く上で、心的モデル枠組みはどのように役立つか？

主な発見

• 利害関係者は、LLMsが執筆、コーディング、情報検索に使用されていると報告しており、各利用ケースで倫理的影響が異なる。
• 共通の懸念には、正確性の欠如、幻象、バイアス、プライバシー漏洩、学問的誠実性の脅威などが含まれる。
• 参加者は、明示的でありながら許容的なLLM方針、デジタルリテラシー教育、文脈に応じたガバナンスを求め、全面的な禁止よりも推奨している。
• 3-model 心的フレームワーク（Writing Tool、Coding Tool、Information Tool）は、利用ケースを倫理的配慮と保護策に mapping するのに役立つ。
• 政策議論は、ガバナンス、透明性、教育を強調し、職場でのAI利用に備える。