[論文レビュー] Performance of ChatGPT on USMLE: Unlocking the Potential of Large Language Models for AI-Assisted Medical Education

Prabin Sharma, Kisan Thapa+5 more|arXiv (Cornell University)|Jun 30, 2023

Artificial Intelligence in Healthcare and Education被引用数 16

ひとこと要約

この研究は Harvard anatomy data を用い、医師による裁定を得て ChatGPT を USMLEスタイルの問題で評価し、ChatGPT は Google より文脈志向で推論的思考に優れているとし、論理的な質問で 58.8%、倫理的な質問で 60% を達成した。

ABSTRACT

Artificial intelligence is gaining traction in more ways than ever before. The popularity of language models and AI-based businesses has soared since ChatGPT was made available to the general public via OpenAI. It is becoming increasingly common for people to use ChatGPT both professionally and personally. Considering the widespread use of ChatGPT and the reliance people place on it, this study determined how reliable ChatGPT can be for answering complex medical and clinical questions. Harvard University gross anatomy along with the United States Medical Licensing Examination (USMLE) questionnaire were used to accomplish the objective. The paper evaluated the obtained results using a 2-way ANOVA and posthoc analysis. Both showed systematic covariation between format and prompt. Furthermore, the physician adjudicators independently rated the outcome's accuracy, concordance, and insight. As a result of the analysis, ChatGPT-generated answers were found to be more context-oriented and represented a better model for deductive reasoning than regular Google search results. Furthermore, ChatGPT obtained 58.8% on logical questions and 60% on ethical questions. This means that the ChatGPT is approaching the passing range for logical questions and has crossed the threshold for ethical questions. The paper believes ChatGPT and other language learning models can be invaluable tools for e-learners; however, the study suggests that there is still room to improve their accuracy. In order to improve ChatGPT's performance in the future, further research is needed to better understand how it can answer different types of questions.

研究の動機と目的

• USMLEスタイルの評価に関連する複雑な医療・臨床質問に答える際の ChatGPT の信頼性を評価する。
• 医療の質問形式における ChatGPT の性能を従来の検索方法（Google）と比較する。
• 統計分析を用いて質問形式とプロンプトが ChatGPT の性能に及ぼす影響を評価する。
• AI生成回答の正確性・整合性・洞察を評価するために医師による裁定を取り入れる。

提案手法

• 評価材料として Harvard University gross anatomy コンテンツと USMLE-style の質問を用いる。
• 形式とプロンプトに関して性能を分析するために2要因ANOVAを適用する。
• 形式とプロンプト間の相互作用効果を探るために事後分析を実施する。
• 医師の裁定者に AI 出力の正確性・整合性・洞察を独立して評価してもらう。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT は論理的および倫理的領域を横断して USMLEスタイルの質問に信頼性高く答えられるか？
• RQ2 質問形式やプロンプトのスタイルは ChatGPT の性能に体系的に影響を与えるか？
• RQ3 標準的な検索結果と比較して、医師の評価者は ChatGPT の回答の正確性・整合性・洞察をどのように評価するか？

主な発見

• ChatGPT が生成した回答は Google 検索結果より文脈指向だった。
• ChatGPT は回答において従来の Google 検索結果より推論的思考が優れていた。
• ChatGPT は論理的質問で 58.8%、倫理的質問で 60% の得点であった。
• ChatGPT は論理的質問の合格域に近づいており、倫理的質問の閾値を超えたようである。
• 統計分析は、2-way ANOVA および事後分析により形式とプロンプトの間の体系的共変を示した。