[論文レビュー] Evaluating GPT-3.5 and GPT-4 Models on Brazilian University Admission Exams
この論文はポルトガル語でのブラジルのENEM試験におけるGPT-3.5とGPT-4を評価し、Chain-of-Thoughtプロンプトを用いたGPT-4がENEM 2022で最大87%の精度を達成し、GPT-3.5を約11ポイント上回り、CoTが数学と科学の問題で大きな成果をもたらす。
The present study aims to explore the capabilities of Language Models (LMs) in tackling high-stakes multiple-choice tests, represented here by the Exame Nacional do Ensino Médio (ENEM), a multidisciplinary entrance examination widely adopted by Brazilian universities. This exam poses challenging tasks for LMs, since its questions may span into multiple fields of knowledge, requiring understanding of information from diverse domains. For instance, a question may require comprehension of both statistics and biology to be solved. This work analyzed responses generated by GPT-3.5 and GPT-4 models for questions presented in the 2009-2017 exams, as well as for questions of the 2022 exam, which were made public after the training of the models was completed. Furthermore, different prompt strategies were tested, including the use of Chain-of-Thought (CoT) prompts to generate explanations for answers. On the 2022 edition, the best-performing model, GPT-4 with CoT, achieved an accuracy of 87%, largely surpassing GPT-3.5 by 11 points. The code and data used on experiments are available at https://github.com/piresramon/gpt-4-enem.
研究の動機と目的
- 最先端のLMが、ブラジルポルトガル語で実施される高リスクかつ多領域の試験であるENEMの性能を評価する。
提案手法
- ゼロショット、few-shot、およびChain-of-Thoughtプロンプトを用いたfew-shotを用いて、GPT-3.5とGPT-4の変種を評価する。
実験結果
リサーチクエスチョン
- RQ1GPT-3.5とGPT-4は、ENEM 2009-2017およびENEM 2022データセットでどの程度の性能を示すか？
- RQ2Chain-of-Thoughtプロンプトは、多領域のポルトガル語試験問題の正確さを向上させるか？
- RQ3プロンプトは2022年ENEMの内容の記憶化をモデルが示す可能性を明らかにするか、または抑制できるか？
主な発見
- CoTを用いたGPT-4はENEM 2022で87%の精度を達成し、GPT-3.5を約11ポイント上回る。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。