[論文レビュー] Fine-Tuning A Large Language Model for Systematic Review Screening

Kweku Yamoah, Noah L. Schroeder+3 more|arXiv (Cornell University)|Mar 25, 2026

Meta-analysis and systematic reviews被引用数 0

ひとこと要約

著者らは、1.2Bパラメータの小型LLMをタイトル/要旨スクリーニング用に微調整し、単一の系統的レビューでベースラインを大幅に上回る高い人間判断との一致と、推論実行ごとの一貫した結果を達成した。

ABSTRACT

Systematic reviews traditionally have taken considerable amounts of human time and energy to complete, in part due to the extensive number of titles and abstracts that must be reviewed for potential inclusion. Recently, researchers have begun to explore how to use large language models (LLMs) to make this process more efficient. However, research to date has shown inconsistent results. We posit this is because prompting alone may not provide sufficient context for the model(s) to perform well. In this study, we fine-tune a small 1.2 billion parameter open-weight LLM specifically for study screening in the context of a systematic review in which humans rated more than 8500 titles and abstracts for potential inclusion. Our results showed strong performance improvements from the fine-tuned model, with the weighted F1 score improving 80.79% compared to the base model. When run on the full dataset of 8,277 studies, the fine-tuned model had 86.40% agreement with the human coder, a 91.18% true positive rate, a 86.38% true negative rate, and perfect agreement across multiple inference runs. Taken together, our results show that there is promise for fine-tuning LLMs for title and abstract screening in large-scale systematic reviews.

研究の動機と目的

• 人間が注釈したデータでモデルを微調整することにより、系統的レビューのスクリーニング作業負荷を削減する動機づけ。
• 小型のLLMが特定のレビューについて強力で一貫したスクリーニング性能を達成できるか評価する。
• ホールドアウトテストと全データセットテストを含む評価戦略を示す。
• モデル・データセット・コードを公開可能な再現可能なパイプラインを提供する。

提案手法

• 指示-応答ペアでの全パラメータ supervised fine-tuning を用いて Liquid AI の LFM2.5-1.2B-Instruct（bf16）を微調整する。
• Unsloth と Hugging Face TRL トレーニングスタックを用いて、1 GPU での効率的な微調整を行う。
• 320 ステップ、学習率 2e-5、バッチサイズの制約、短いウォームアップを伴い、最大シーケンス長 4096。
• データを指示–応答ペアとして整形し、応答マスキング（損失はアシスタントトークンのみで計算）。
• 371要旨データセットを、訓練用315件・テスト用56件に分割し、クラス不均衡への対策として含まれるケースを強化。
• 多指標・不均衡対応の評価指標（バランス精度、重み付き・クラス別 F1/F2、混同行列）と、Cohen’s κ、PABAK、Gwet’s AC1、Fleiss’ κによるレーティング間信頼性を評価。
• 0.1, 0.4, 0.8 の温度で複数回の推論を行い一貫性を評価し、チャットベースの出力から予測を抽出。

実験結果

リサーチクエスチョン

• RQ1 モデルのタイトル/要旨スクリーニングにおける基準性能は人間の評価と比較してどうか？
• RQ2 微調整した小型LLMは検証データセットで人間の評価と比較してどの程度の性能を示すか？
• RQ3 微調整モデルは全データセットで人間の評価者と比較してどの程度の性能か？
• RQ4 モデルのスクリーニング性能は複数の推論温度で堅牢か？

主な発見

Setting	N	Acc.	Bal. Acc.	Macro-F1	Macro-F2	W- F1	W- F2
Base (no fine-tune) Full dataset	8,277	6.52	53.07	6.22	4.86	11.52	7.54
Fine-tuned Held-out test split	56	94.64	94.49	93.77	94.19	94.68	94.65
Fine-tuned Full dataset	8,277	86.40	88.78	48.95	50.41	92.31	88.48

• ベースライン（ベースモデル、全データセット）バランス精度 53.07%、全体精度 6.52%。
• ホールドアウト検証分割で微調整したモデルは 94.64% の精度、94.49% のバランス精度を達成。
• 全データセットで微調整したモデルは 86.40% の精度、88.78% のバランス精度。
• 全データセットでの include クラス Recall 91.18%、一方で Precision 2.69%（F1 5.22%）、exclude クラス Precision 86.38%、Recall 92.67%（F1 92.67%）。
• モデル–人間の全データセットでの一致は 86.40%、Gwet AC1 = 0.843; Cohen’s κ = 0.045、PABAK = 0.728。
• 温度 0.1, 0.4, 0.8 の3回の推論では、LLMのみの完全な一貫性（Cohen’s κ = 1.0、パス間）、多評価者 AC1 = 0.842（95%信頼区間）を示した。