[論文レビュー] "With Great Power Comes Great Responsibility!": Student and Instructor Perspectives on the influence of LLMs on Undergraduate Engineering Education

Ishika Joshi, Ritvik Budhiraja+8 more|arXiv (Cornell University)|Sep 19, 2023

Ferroelectric and Negative Capacitance Devices被引用数 7

ひとこと要約

本研究は、インドの大学における学部レベルの工学教育において、学生および教員のチャットGPTに関する認識を、アンケートとインタビューを通じて調査した。学術的タスクにおける広範な使用、学習支援における顕著な利点、信頼性、プロンプトの効果、学術的誠実性に関する深刻な課題が明らかとなり、工学教育における責任あるLLM統合のための提言がなされた。

ABSTRACT

The rise in popularity of Large Language Models (LLMs) has prompted discussions in academic circles, with students exploring LLM-based tools for coursework inquiries and instructors exploring them for teaching and research. Even though a lot of work is underway to create LLM-based tools tailored for students and instructors, there is a lack of comprehensive user studies that capture the perspectives of students and instructors regarding LLMs. This paper addresses this gap by conducting surveys and interviews within undergraduate engineering universities in India. Using 1306 survey responses among students, 112 student interviews, and 27 instructor interviews around the academic usage of ChatGPT (a popular LLM), this paper offers insights into the current usage patterns, perceived benefits, threats, and challenges, as well as recommendations for enhancing the adoption of LLMs among students and instructors. These insights are further utilized to discuss the practical implications of LLMs in undergraduate engineering education and beyond.

研究の動機と目的

• インドの学部レベルの工学教育における、チャットGPTを含む大規模言語モデル（LLM）の使用パターン、認識された利点、および課題を理解すること。
• 特に学術的誠実性や生成コンテンツへの過剰依存に関連する、LLM使用に伴うリスクおよび倫理的懸念を特定すること。
• 責任ある、効果的かつ教育的根拠に基づいたLLM駆動の教育ツールの設計に向けた、学生および教員からの実行可能な提言を収集すること。
• LLMの能力と限界に適合するように、教育実践および評価方法を再設計することを目的とする。

提案手法

• インドの3つの工学大学において、1306名の学生アンケート、112名の学生インタビュー、27名の教員インタビューを実施した混合研究手法を採用した。
• コンピュータサイエンス、電気工学、機械工学、土木工学、化学工学、バイオエンジニアリング、人間中心設計を含む、多様な工学専門分野におけるLLM使用状況を収集した。
• テーマ的分析を用いて定性的な回答を分析し、ユーザー体験、課題、提言における繰り返しパターンを同定した。
• LLM出力における効果のないプロンプト、パーソナライゼーションの欠如、機械的と感じられる反応といった、ユーザーとのインタラクションの課題を調査した。
• 文脈内学習、段階的推論、説明可能性機能、信頼性マーカーなどの設計戦略を提案し、教育分野におけるLLMの使いやすさを向上させた。
• マルチモーダルプロンプトブック、アプリ内フィードバックメカニズム、プラグイン拡張機能の開発を提言し、ユーザーとのインタラクションおよびアクセシビリティを強化した。

(a)

実験結果

リサーチクエスチョン

• RQ1 RQ1: 学生および教員におけるチャットGPTの使用パターンと認識された利点は何か？
• RQ2 RQ2: 学生および教員が教育現場におけるチャットGPTの活用に直面する課題は何か？
• RQ3 RQ3: 教員は、チャットGPTが学部教育に与える影響をどのように認識しているか？
• RQ4 RQ4: チャットGPTは、学生の学習および評価を向上させるために、どのような方法で活用できるか？

主な発見

• 調査された学生の70％以上が、課題の解決、コード生成、概念の説明のためなど、学業活動においてチャットGPTを使用していると報告した。
• 学生は、特にプログラミングや理論的科目において、チャットGPTが複雑な工学的概念の理解を支援すると頻繁に指摘した。
• 多くの学生が、技術的および数学的文脈において、LLMが出力する内容の真正性と正確性について懸念を示した。
• 教員の間では賛否両論の声が上がった。一部の教員はLLMを価値ある指導支援と見なした一方、他の教員は過剰依存が批判的思考や問題解決能力の低下を引き起こすと懸念した。
• 学生および教員の両方が、より良いプロンプト戦略とトレーニングの必要性を強調した。多くの人が、曖昧または繰り返しの多い回答に不満を抱いていた。
• 本研究では、信頼性スコアや段階的推論といった説明可能性機能の需要が強く、LLMとの対話における信頼性と学習効果の向上に寄与することが明らかになった。

(b)