[論文レビュー] Can AI Chatbots Pass the Fundamentals of Engineering (FE) and Principles and Practice of Engineering (PE) Structural Exams?

M. Z. Naser, Brandon E. Ross+5 more|arXiv (Cornell University)|Mar 31, 2023

AI in Service Interactions被引用数 8

ひとこと要約

この論文はAIチャットボットChatGPT-4とGoogle BardがFEおよびPE Structural試験に合格できるかを評価し、合格に近いスコアを報告し、教育および工学指導への影響を論じる。

ABSTRACT

The engineering community has recently witnessed the emergence of chatbot technology with the release of OpenAI ChatGPT-4 and Google Bard. While these chatbots have been reported to perform well and even pass various standardized tests, including medical and law exams, this forum paper explores whether these chatbots can also pass the Fundamentals of Engineering (FE) and Principles and Practice of Engineering (PE) exams. A diverse range of civil and environmental engineering questions and scenarios are used to evaluate the chatbots' performance, as commonly present in the FE and PE exams. The chatbots' responses were analyzed based on their relevance, accuracy, and clarity and then compared against the recommendations of the National Council of Examiners for Engineering and Surveying (NCEES). Our report shows that ChatGPT-4 and Bard, respectively scored 70.9% and 39.2% in the FE exam and 46.2% and 41% in the PE exam. It is evident that the current version of ChatGPT-4 could potentially pass the FE exam. While future editions are much more likely to pass both exams, this study also highlights the potential of using chatbots as teaching assistants and guiding engineers.

研究の動機と目的

• 現代のAIチャットボットが土木/環境工学の問題を用いてFEおよびPE Structural試験に合格できるかを評価する。
• チャットボットの性能を定量化し、NCEESの推奨と比較する。
• 工学教育およびAIツールのメンタリング役割に関する示唆を論じる。

提案手法

• FE/PE試験を代表する土木/環境工学の質問とシナリオを多様に収集する。
• ChatGPT-4とBardの回答を関連性、正確性、明確さの観点から評価する。
• チャットボットの性能をNCEESの推奨とコンセンサス期待と比較する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT-4とBardはFEおよびPE Structural試験で合格水準に近いスコアを達成できるか。
• RQ2 正確さと明確さの点でチャットボットの回答はNCEESの推奨とどの程度一致しているか。
• RQ3 教育と工学実務におけるチャットボットの性能がもたらす示唆は何か。

主な発見

• ChatGPT-4はFE試験で70.9%の得点、Bardは39.2%だった。
• PE試験ではChatGPT-4が46.2%、Bardが41%だった。
• この結果は現行の評価条件下でChatGPT-4がFE試験を合格に近い水準で通過する可能性を示唆している。
• 本研究は教育支援ツールやエンジニアリング教育におけるチャットボットの指導補助およびガイダンスツールとしての潜在的役割を強調している。