[논문 리뷰] Performance of ChatGPT on the US Fundamentals of Engineering Exam: Comprehensive Assessment of Proficiency and Potential Implications for Professional Environmental Engineering Practice

Vinay Pursnani, Yusuf Sermet외 1명|arXiv (Cornell University)|2023. 04. 20.

Artificial Intelligence in Healthcare and Education인용 수 18

한 줄 요약

이 논문은 FE Environmental Exam에서 ChatGPT (GPT-4 기반)의 성능을 평가하고, 프롬프트 수정을 통해 정확도가 크게 향상될 수 있음을 보여주며, 모델 반복에 따른 수학 능력이 성장하는 경향을 강조하고, 교육적 시사점과 향후 연구 방향을 논의한다.

ABSTRACT

In recent years, advancements in artificial intelligence (AI) have led to the development of large language models like GPT-4, demonstrating potential applications in various fields, including education. This study investigates the feasibility and effectiveness of using ChatGPT, a GPT-4 based model, in achieving satisfactory performance on the Fundamentals of Engineering (FE) Environmental Exam. This study further shows a significant improvement in the model's accuracy when answering FE exam questions through noninvasive prompt modifications, substantiating the utility of prompt modification as a viable approach to enhance AI performance in educational contexts. Furthermore, the findings reflect remarkable improvements in mathematical capabilities across successive iterations of ChatGPT models, showcasing their potential in solving complex engineering problems. Our paper also explores future research directions, emphasizing the importance of addressing AI challenges in education, enhancing accessibility and inclusion for diverse student populations, and developing AI-resistant exam questions to maintain examination integrity. By evaluating the performance of ChatGPT in the context of the FE Environmental Exam, this study contributes valuable insights into the potential applications and limitations of large language models in educational settings. As AI continues to evolve, these findings offer a foundation for further research into the responsible and effective integration of AI models across various disciplines, ultimately optimizing the learning experience and improving student outcomes.

연구 동기 및 목표

• FE Environmental Exam 응시를 위해 ChatGPT를 사용하는 타당성과 효과성을 평가한다.
• 비침습적 프롬프트 수정이 공학 시험 문제에서 AI 정확도에 미치는 영향을 조사한다.
• ChatGPT 반복에 따른 수학/문제 해결 능력의 변화를 평가한다.
• 교육적 및 전문 실무 관점의 시사점과 향후 연구 방향을 논의한다.

제안 방법

• FE Environmental Exam 문제에 ChatGPT (GPT-4 기반)을 적용하여 초기 성능을 측정한다.
• 비침습적 프롬프트 수정으로 응답 정확도를 향상시키고 성능을 비교한다.
• 연속적인 ChatGPT 반복에 걸친 수학/문제 해결 과제의 개선을 분석한다.
• 공학 교육, 접근성, 그리고 시험 무결성 맥락에서 결과를 해석한다.

실험 결과

연구 질문

• RQ1 ChatGPT가 FE Environmental Exam에서 만족스러운 성과를 달성할 수 있는가?
• RQ2 비침습적 프롬프트 수정을 통해 FE 문제에서 ChatGPT의 정확도가 의미 있게 향상되는가?
• RQ3 FE 맥락에서 모델 반복에 따라 ChatGPT의 수학적 능력이 어떻게 진화하는가?
• RQ4 전문 공학 실무에서 교육, 접근성, 그리고 AI에 강한 시험 설계에 대한 시사점은 무엇인가?

주요 결과

• 프롬프트 수정을 통해 FE Environmental Exam 문제에서 ChatGPT의 정확도가 향상될 수 있다.
• 모델 반복은 엔지니어링 문제와 관련된 수학 능력에서 주목할 만한 향상을 보인다.
• 프롬프트 엔지니어링은 교육 환경에서 AI 성능을 향상시키는 실행 가능한 접근법으로 부상한다.
• 연구 결과는 엔지니어링 교육 및 실무에서 대형 언어 모델의 잠재적 활용과 한계에 정보를 제공한다.