[論文レビュー] Performance of ChatGPT on the US Fundamentals of Engineering Exam: Comprehensive Assessment of Proficiency and Potential Implications for Professional Environmental Engineering Practice

Vinay Pursnani, Yusuf Sermet+1 more|arXiv (Cornell University)|Apr 20, 2023

Artificial Intelligence in Healthcare and Education被引用数 18

ひとこと要約

この論文はChatGPT（GPT-4ベース）によるFE環境試験の性能を評価し、プロンプトの改変が精度を大幅に向上させる可能性を示すとともに、モデルの世代を通じた数学能力の拡大を強調し、教育への影響と今後の研究方向性を論じる。

ABSTRACT

In recent years, advancements in artificial intelligence (AI) have led to the development of large language models like GPT-4, demonstrating potential applications in various fields, including education. This study investigates the feasibility and effectiveness of using ChatGPT, a GPT-4 based model, in achieving satisfactory performance on the Fundamentals of Engineering (FE) Environmental Exam. This study further shows a significant improvement in the model's accuracy when answering FE exam questions through noninvasive prompt modifications, substantiating the utility of prompt modification as a viable approach to enhance AI performance in educational contexts. Furthermore, the findings reflect remarkable improvements in mathematical capabilities across successive iterations of ChatGPT models, showcasing their potential in solving complex engineering problems. Our paper also explores future research directions, emphasizing the importance of addressing AI challenges in education, enhancing accessibility and inclusion for diverse student populations, and developing AI-resistant exam questions to maintain examination integrity. By evaluating the performance of ChatGPT in the context of the FE Environmental Exam, this study contributes valuable insights into the potential applications and limitations of large language models in educational settings. As AI continues to evolve, these findings offer a foundation for further research into the responsible and effective integration of AI models across various disciplines, ultimately optimizing the learning experience and improving student outcomes.

研究の動機と目的

• ChatGPT を用いて FE Environmental Exam を受験させることの実現性と有効性を評価する。
• 非侵襲的なプロンプト改変が工学試験の問題に対するAIの精度にどのように影響するかを検討する。
• ChatGPT の世代間での数学的・問題解決能力の変化を評価する。
• 教育および専門実務への影響と今後の研究方向を論じる。

提案手法

• 初期パフォーマンスを測定するために、GPT-4 ベースの ChatGPT を FE Environmental Exam の問題に適用する。
• 回答の正確性を向上させるために非侵襲的なプロンプト改変を実装し、パフォーマンスを比較する。
• 連続する ChatGPT 世代における数学的/問題解決タスクの改善を分析する。
• 工学教育、アクセシビリティ、試験の信頼性の文脈で結果を解釈する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT は FE Environmental Exam で十分な成績を達成できるか。
• RQ2 非侵襲的なプロンプト改変はFEの問題でのChatGPTの精度を意味のある程度改善するか。
• RQ3 FE の文脈でモデルの世代を超えて ChatGPT の数学的能力はどのように進化するか。
• RQ4 教育、アクセシビリティ、AI耐性の試験設計に関する専門工学実務への影響は何か。

主な発見

• プロンプト改変によりFE Environmental Exam の問題で ChatGPT の正確性が向上することを示す。
• モデルの世代は、工学問題に関連する数学的能力の顕著な改善を示す。
• プロンプト設計が教育環境でAIの性能を高める有力なアプローチとして浮上する。
• 知見は工学教育と実務における大規模言語モデルの潜在的な適用と限界を示唆する。