[論文レビュー] Automated title and abstract screening for scoping reviews using the GPT-4 Large Language Model

David E. Wilkins|arXiv (Cornell University)|Nov 14, 2023

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本稿では、GPT-4を用い、思考の連鎖（chain-of-thought）プロンプトを適用することで、スコピングレビューにおけるタイトルおよび要旨のスクリーニングを自動化するRパッケージ、GPTscreenRを紹介する。この手法は71%の感度、89%の特異度、84%の正確性を達成し、ゼロショット手法と同等の性能を示すが、誤りの制御が向上しており、システム的文献スクリーニングにおける人的作業負荷を軽減する使いやすいツールを提供する。

ABSTRACT

Scoping reviews, a type of literature review, require intensive human effort to screen large numbers of scholarly sources for their relevance to the review objectives. This manuscript introduces GPTscreenR, a package for the R statistical programming language that uses the GPT-4 Large Language Model (LLM) to automatically screen sources. The package makes use of the chain-of-thought technique with the goal of maximising performance on complex screening tasks. In validation against consensus human reviewer decisions, GPTscreenR performed similarly to an alternative zero-shot technique, with a sensitivity of 71%, specificity of 89%, and overall accuracy of 84%. Neither method achieved perfect accuracy nor human levels of intraobserver agreement. GPTscreenR demonstrates the potential for LLMs to support scholarly work and provides a user-friendly software framework that can be integrated into existing review processes.

研究の動機と目的

• スコピングレビューにおける多数の出典をスクリーニングするために要する人的努力を軽減すること。
• GPT-4を既存のレビュー作業ワークフローに統合できる、使いやすくオープンソースのRパッケージを開発すること。
• ゼロショットプロンプトと比較して、GPT-4を用いた思考の連鎖プロンプトのタイトルおよび要旨スクリーニングにおける性能を評価すること。
• LLMベースのスクリーニングの信頼性および透明性を、人的レビュアーのコンSENSUSと比較して評価すること。
• 監査可能性を保証する推論トレースを活用することで、LLMを学術的レビュープロセスに統合するフレームワークを提供すること。

提案手法

• GPTscreenRパッケージは、スクリーニング意思決定を中間的推論ステップに分解する思考の連鎖プロンプト戦略を実装している。
• 各出典は、GPT-4にインクルージョンおよびエクスクルージョン基準に基づき段階的に関連性を評価するよう指示するプロンプトを経由して処理される。
• モデルは最終的な採否決定を出力する前に、推論のトランスクリプトを生成する。
• 性能は、複数のスコピングレビューにおいてGPT-4の意思決定と人的レビュアーのコンセンサス判断を比較することで評価される。
• このアプローチはOpenAI APIを用い、GPT-4を活用し、トークン単位での課金が発生する。実装はMITライセンスの下でオープンソースのRパッケージとして提供される。
• この方法は、各LLM意思決定の背後にある推論チェーンをレビュー担当者が検査可能にすることで、透明性を確保する。

Figure 1: Template for the conversation with GPT-4 mediated by the screen_source() function. Messages with variable content, including user-provided data as well as GPT-4’s responses, are given in italics.

実験結果

リサーチクエスチョン

• RQ1 GPT-4を用いた思考の連鎖プロンプトは、ゼロショットプロンプトと比較して、スコピングレビューにおける自動スクリーニングの信頼性および透明性を向上させることができるか？
• RQ2 GPTscreenRの性能は、人的レビュアーのコンセンサスと比較して感度、特異度、総合的正確性の観点でどの程度か？
• RQ3 思考の連鎖アプローチは、ゼロショット手法と比較して、第1種の誤り（偽陽性）をどの程度低減するか？
• RQ4 コスト、時間、データ品質への依存性を含め、GPT-4を用いたスクリーニングにおける実用的限界は何か？
• RQ5 GPT-4が生成する推論トレースは、レビュアー間の合意不一致の解消や意思決定の一貫性向上を支援できるか？

主な発見

• GPTscreenRは、人的コンセンサス判断と比較して、感度71%、特異度89%、総合的正確性84%を達成した。
• 思考の連鎖法はゼロショット法（特異度84%）と比較して、特異度が高かった（89%）が、感度は低かった（71% vs. 78%）ため、偽陽性の低減を重視するトレードオフの関係にあることが示された。
• 性能は、検証レビューにおけるデータ品質の問題（要旨の欠落や破損、スクリーニング記録の不一致）によって制限された。
• 思考の連鎖アプローチにより、レビュアーは各LLM意思決定の背後にある推論を検査可能となり、透明性と監査可能性が向上した。
• ゼロショット手法と同等の性能を示したが、GPTscreenRは人的レビュアー間の合意水準に達しておらず、さらなる改善の余地があることが示された。
• 推論シーケンスが長くなるため、トークン使用量とコストがゼロショットプロンプトより高くなり、大規模スクリーニングタスクにおけるスケーラビリティに影響を与えた。

Figure 2a: A conversation with GPT-4, using a zero-shot prompt to instruct the model to screen a single source for a hypothetical scoping review. This adversarial task has been intentionally designed to influence GPT-4 towards making an error.