[論文レビュー] Bio-SIEVE: Exploring Instruction Tuning Large Language Models for Systematic Review Automation

Ambrose Robinson, William Thorne+5 more|arXiv (Cornell University)|Aug 12, 2023

Meta-analysis and systematic reviews被引用数 7

ひとこと要約

Bio-SIEVE は、詳細な選別基準を用いて研究の関連性を正確に分類することで、ChatGPT や従来のモデルを上回る性能を発揮する、指令微調整を施した LLM を用いて、生物医学分野の系統的レビューにおける自動文献スクリーニングを実現する。多様な医学分野にわたる優れた一般化性能を示し、除外理由の説明を可能にし、再訓練を必要としない柔軟なゼロショットソリューションを提供する。

ABSTRACT

Medical systematic reviews can be very costly and resource intensive. We explore how Large Language Models (LLMs) can support and be trained to perform literature screening when provided with a detailed set of selection criteria. Specifically, we instruction tune LLaMA and Guanaco models to perform abstract screening for medical systematic reviews. Our best model, Bio-SIEVE, outperforms both ChatGPT and trained traditional approaches, and generalises better across medical domains. However, there remains the challenge of adapting the model to safety-first scenarios. We also explore the impact of multi-task training with Bio-SIEVE-Multi, including tasks such as PICO extraction and exclusion reasoning, but find that it is unable to match single-task Bio-SIEVE's performance. We see Bio-SIEVE as an important step towards specialising LLMs for the biomedical systematic review process and explore its future developmental opportunities. We release our models, code and a list of DOIs to reconstruct our dataset for reproducibility.

研究の動機と目的

• 生物医学分野の系統的レビューにおける手動文献スクリーニングの高コストおよび時間的負担を軽減すること。
• 再訓練を必要とせず、多様な医学分野に一般化可能なゼロショット、指令微調整 LLM の開発。
• 複雑な複数基準の選別ルールを用いた正確な含む／含まない分類の実現。
• スクリーニング意思決定の透明性を高め、レビュアーの負担を軽減するため、除外理由の説明を新たなタスクとして探求すること。
• PICO抽出と除外理由の説明を統合したマルチタスク学習の効果を評価し、知識の転送効果を検証すること。

提案手法

• Cochraneレビューから抽出したキュレートドデータセットを用いて、指令微調整を施した LLaMA および Guanaco モデルのファインチューニング。
• 特定のレビュー基準に基づき、含む／含まないのラベルが付与された要約のデータセットを構築。この際、除外理由の記述も含めた。
• スクリーニングおよび説明タスクのためのモデル行動を誘導する、詳細で自然言語のプロンプトを用いた指令微調整を実施。
• PICO抽出と除外理由の説明を統合したマルチタスク学習を検討し、タスク間の知識転送を活用。
• ドメイン特化のスクリーニングタスクにおける大規模モデルの効率的ファインチューニングのため、LoRA（低ランク適応）を採用。
• F1スコア、精度、再現率、人間の好みの順位付けといった標準的な自然言語処理指標を用いて性能を評価。

Figure 1: A simple representation of the systematic review process depicting the stage which Bio-SIEVE aims to assist. The black funnels are the monotonous and highly resource intensive bottlenecks of the process.

実験結果

リサーチクエスチョン

• RQ1 指令微調整を施した LLM は、ChatGPT などのゼロショット LLM よりも系統的レビューの要約スクリーニングで優れた性能を示せるか？
• RQ2 ドメイン特化の基準に対する指令微調整は、多様な生物医学的トピックにわたる一般化性能を向上させるか？
• RQ3 除外理由の説明を生成的タスクとして効果的にモデル化できるか？これによりスクリーニング意思決定の透明性が向上するか？
• RQ4 PICO抽出と除外理由の説明を統合したマルチタスク学習は、全体的なスクリーニング性能を向上させるか？
• RQ5 感度および特異度の観点から、Bio-SIEVE は従来の機械学習モデルと比較して優れているか？

主な発見

• Bio-SIEVE は、SVM や ChatGPT といった従来のモデルを上回り、含む／含まない分類において F1 スコアと再現率がより高い性能を達成した。
• ファインチューニングを施さずに、さまざまな医学分野にわたって効果的な一般化を示し、強力なゼロショット一般化性能を確認した。
• 除外理由の説明が成功裏にモデル化され、研究の除外に適切で文脈的に関連する理由の生成が可能になった。
• マルチタスク学習（Bio-SIEVE-Multi）は、スクリーニングタスクにおいて限定的な転送効果を示し、単一タスクの Bio-SIEVE よりも性能が劣った。
• Bio-SIEVE-Multi は含む理由の説明において有望な結果を示したが、人間の好みの順位付けでは ChatGPT の性能に及ばなかった。
• 微細な不適切さ（例：口腔健康レビューにおいて筋肉損傷の研究を除外するなど）のフィルタリングにおいても、高い正確性を達成した。

Figure 2: The topic distribution of the inclusion/exclusion classification samples in the train and test splits of the Instruct Cochrane dataset.