[論文レビュー] Large Language Models as Biomedical Hypothesis Generators: A Comprehensive Evaluation

Biqing Qi, Kaiyan Zhang+7 more|arXiv (Cornell University)|Jul 12, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿は、データ漏洩を防ぐために時間的分割された背景-仮説ペアデータセットを用いて、大規模言語モデル（LLMs）をバイオメディカル仮説生成者として評価する。LLMsがゼロショット設定ですら、新しい、妥当で検証可能な仮説を生成できることを示しており、マルチエージェント協働とツール利用により仮説の多様性と性能が向上するが、外部知識の統合が常に結果を改善するわけではない。

ABSTRACT

The rapid growth of biomedical knowledge has outpaced our ability to efficiently extract insights and generate novel hypotheses. Large language models (LLMs) have emerged as a promising tool to revolutionize knowledge interaction and potentially accelerate biomedical discovery. In this paper, we present a comprehensive evaluation of LLMs as biomedical hypothesis generators. We construct a dataset of background-hypothesis pairs from biomedical literature, carefully partitioned into training, seen, and unseen test sets based on publication date to mitigate data contamination. Using this dataset, we assess the hypothesis generation capabilities of top-tier instructed models in zero-shot, few-shot, and fine-tuning settings. To enhance the exploration of uncertainty, a crucial aspect of scientific discovery, we incorporate tool use and multi-agent interactions in our evaluation framework. Furthermore, we propose four novel metrics grounded in extensive literature review to evaluate the quality of generated hypotheses, considering both LLM-based and human assessments. Our experiments yield two key findings: 1) LLMs can generate novel and validated hypotheses, even when tested on literature unseen during training, and 2) Increasing uncertainty through multi-agent interactions and tool use can facilitate diverse candidate generation and improve zero-shot hypothesis generation performance. However, we also observe that the integration of additional knowledge through few-shot learning and tool use may not always lead to performance gains, highlighting the need for careful consideration of the type and scope of external knowledge incorporated. These findings underscore the potential of LLMs as powerful aids in biomedical hypothesis generation and provide valuable insights to guide further research in this area.

研究の動機と目的

• 先行研究におけるデータ汚染の問題に対処し、ゼロショットおよびフェイシュットのバイオメディカル仮説生成におけるLLMsの厳密な評価を目的とする。
• 出版日を用いて時間的分割された背景-仮説ペアのデータセットを構築し、テストセットの不可視性を保証する。
• GPT-4による評価のための構造化プロンプトを用い、人間とLLMによるアノテーションを統合した4つの新しいメトリクス（新規性、関連性、重要性、検証可能性）を考案・検証し、仮説の質を評価する。
• ツール利用とマルチエージェント協働による不確実性の取り扱いが、仮説生成の多様性と性能に与える影響を調査する。
• 外部知識（例：フェイシュット例、ツール）がLLMベースの仮説生成にどのように寄与するか、あるいは妨げるかを明らかにするための実用的知見を提供する。

提案手法

• 文献からバイオメディカル仮説データセットを構築し、出版日を基準に訓練用、既知のテスト用、未知のテスト用に時間的分割した。
• データセットを用いて、上位のインstructed LLMをゼロショット、フェイシュット、ファインチューニング設定で評価した。
• 不確実性下での協働的仮説生成を模倣するため、異なる役割（科学者、アナリスト、エンジニア、批判者）を持つマルチエージェントフレームワークを設計した。
• 検索やリトリーブなどのツール利用をマルチエージェント設定に統合し、仮説の多様性と品質に与える影響を調査した。
• GPT-4による評価のための構造化プロンプトを用い、人間とLLMによるアノテーションを統合した4つのメトリクス（新規性、関連性、重要性、検証可能性）を提案した。
• バッチサイズ8、シーケンス長2048トークンで、3エポックにわたり、65BのLLaMAモデルをファインチューニングし、早期停止を適用した。

Figure 1: This illustration demonstrates a generated hypothesis using the fine-tuned 65B LLaMA model within our specially constructed dataset. The generated hypothesis closely aligns with the findings in existing literature published subsequent to the training sets.

実験結果

リサーチクエスチョン

• RQ1 訓練中に使用された文献とは見られない文献に対してテストされた際、LLMsは新しいかつ科学的に妥当なバイオメディカル仮説を生成できるか？
• RQ2 不確実性の探求を伴うマルチエージェント協働は、ゼロショット仮説生成のパフォーマンスをどのように向上させるか？
• RQ3 フェイシュット学習やツール利用による外部知識の統合が、仮説の質をどの程度向上させるか？
• RQ4 LLMベースのメトリクスは、人間による仮説品質評価とどの程度相関するか？
• RQ5 LLMが生成するバイオメディカル仮説のパフォーマンスと信頼性に影響を与える主な要因は何か？

主な発見

• LLMsは、訓練中に使用されなかった文献に対してテストされた場合でも、新しい仮説と妥当な仮説を生成でき、強力なゼロショット能力を示している。
• ツール利用を伴うマルチエージェント協働は、仮説の多様性を向上させるとともに、ゼロショットパフォーマンスを改善しており、不確実性の探求の価値を浮き彫りにしている。
• 提案された4つのメトリクス（新規性、関連性、重要性、検証可能性）は、GPT-4評価と人間評価の間に強い相関を示しており、自動評価における有効性が検証された。
• 65BのLLaMAモデルをファインチューニングすることで、ゼロショットおよびフェイシュット設定よりも優れた仮説生成パフォーマンスが得られた。
• フェイシュット学習やツールによる外部知識統合が、必ずしもパフォーマンスを向上させるわけではないことから、知識の種類と範囲を慎重に選択する必要があることが示された。
• マルチエージェントフレームワークは反復的な仮説の精錬と協働的分析を可能にし、現実の科学的発見プロセスを模倣している。

(a) Scientific Discovery Process