[論文レビュー] Evaluation of ChatGPT-Generated Medical Responses: A Systematic Review and Meta-Analysis

Qiuhong Wei, Zhengxiong Yao+4 more|arXiv (Cornell University)|Oct 12, 2023

Artificial Intelligence in Healthcare and Education被引用数 5

ひとこと要約

本システマティックレビューおよびメタアナリシスは、医療分野におけるチャットGPTの性能を評価し、3520件の抽出された論文から17件の研究を分析した。全体の統合的正確度は56％（95％信頼区間：51％〜60％、I² = 87％）であったが、研究間で著しい異質性と一貫性のない報告が認められ、信頼性に制限があり、今後の研究において標準的で透明性のある評価フレームワークの構築が求められる。

ABSTRACT

Large language models such as ChatGPT are increasingly explored in medical domains. However, the absence of standard guidelines for performance evaluation has led to methodological inconsistencies. This study aims to summarize the available evidence on evaluating ChatGPT's performance in medicine and provide direction for future research. We searched ten medical literature databases on June 15, 2023, using the keyword "ChatGPT". A total of 3520 articles were identified, of which 60 were reviewed and summarized in this paper and 17 were included in the meta-analysis. The analysis showed that ChatGPT displayed an overall integrated accuracy of 56% (95% CI: 51%-60%, I2 = 87%) in addressing medical queries. However, the studies varied in question resource, question-asking process, and evaluation metrics. Moreover, many studies failed to report methodological details, including the version of ChatGPT and whether each question was used independently or repeatedly. Our findings revealed that although ChatGPT demonstrated considerable potential for application in healthcare, the heterogeneity of the studies and insufficient reporting may affect the reliability of these results. Further well-designed studies with comprehensive and transparent reporting are needed to evaluate ChatGPT's performance in medicine.

研究の動機と目的

• チャットGPTの医療分野における性能に関する既存の証拠を要約すること。
• 医療クエリに対するチャットGPTの評価研究におけるメソドロジカルな不整合を特定すること。
• 研究間で報告された性能指標の信頼性と妥当性を評価すること。
• 報告および研究設計のギャップに基づいた今後の研究のための提言を提示すること。
• 保健医療分野における大規模言語モデルの標準的評価の基盤を確立すること。

提案手法

• 2023年6月15日時点での10の医学データベースを対象としたシステマティックな文献サーチを、キーワード「ChatGPT」を用いて実施。
• 事前に定義された含む基準に基づき、スクリーニングと選定を実施し、60件のレビュー対象研究、17件のメタアナリシス対象研究を特定。
• ランダム効果モデルを用いたメタアナリシスにより、研究全体の統合的正確度を推定し、95％信頼区間およびI²統計量による異質性の評価を実施。
• メソドロジカルな質の評価を実施し、チャットGPTのバージョンの報告、質問の再利用、質問の出典の有無を含めた。
• 研究間の正確度、一貫性、透明性に関する発見の統合的分析。
• ジャーナル・オブ・バイオメディカル・インフォーマティクスが掲載誌として指定され、最終結果は2024年、ボリューム151に掲載された。

実験結果

リサーチクエスチョン

• RQ1 既存の研究において、チャットGPTは医療クエリに対して全体としてどの程度の正確度を示しているか？
• RQ2 医療分野におけるチャットGPTの評価を目的とした研究間で、評価手法はどの程度一貫しているか？
• RQ3 メソドロジカルな報告のギャップが、性能推定値の信頼性にどの程度影響を与えているか？
• RQ4 研究間で、質問の出典、プロンプト戦略、評価指標にどのような主な差異が認められるか？
• RQ5 今後の評価の標準化と透明性を高めるために、どのような提言が可能か？

主な発見

• 本研究に含まれる研究において、チャットGPTは医療クエリへの回答において全体の統合的正確度が56％（95％信頼区間：51％〜60％）を示した。
• 研究間で著しい異質性が認められ、I²統計量は87％であり、結果の著しい不一致を示している。
• 多くの研究が、使用したチャットGPTの具体的なバージョンや、質問が再利用されたか、独立して処理されたかといった重要なメソドロジカルな詳細を報告していなかった。
• 報告の質は一貫しておらず、評価プロトコルやデータ収集手順の透明性が不足していた。
• 有望な可能性は示しているが、現在の証拠基盤は、メソドロジカルなばらつきと報告の質の低さにより損なわれており、集約された性能推定値に対する信頼性が低下している。
• これらの発見は、臨床現場におけるLLMの標準的で透明性があり、良好に設計された評価フレームワークの構築が、今後急務であることを強調している。