[論文レビュー] BioRAG: A RAG-LLM Framework for Biological Question Reasoning

Chengrui Wang, Qingqing Long+6 more|arXiv (Cornell University)|Aug 2, 2024

Topic Modeling被引用数 11

ひとこと要約

BioRAG は内部生物学リポジトリ、外部データベース、検索ツールをLLMsと組み合わせた Retrieval-Augmented Generation フレームワークを導入し、生物学的質問の推論と最新情報の取得を改善します。

ABSTRACT

The question-answering system for Life science research, which is characterized by the rapid pace of discovery, evolving insights, and complex interactions among knowledge entities, presents unique challenges in maintaining a comprehensive knowledge warehouse and accurate information retrieval. To address these issues, we introduce BioRAG, a novel Retrieval-Augmented Generation (RAG) with the Large Language Models (LLMs) framework. Our approach starts with parsing, indexing, and segmenting an extensive collection of 22 million scientific papers as the basic knowledge, followed by training a specialized embedding model tailored to this domain. Additionally, we enhance the vector retrieval process by incorporating a domain-specific knowledge hierarchy, which aids in modeling the intricate interrelationships among each query and context. For queries requiring the most current information, BioRAG deconstructs the question and employs an iterative retrieval process incorporated with the search engine for step-by-step reasoning. Rigorous experiments have demonstrated that our model outperforms fine-tuned LLM, LLM with search engines, and other scientific RAG frameworks across multiple life science question-answering tasks.

研究の動機と目的

• QAシステムのための急速に進化し、学際的な生物学知識の課題に対処する。
• PubMed abstractsから堅牢なドメイン特化の情報インデックス作成および埋め込みモデルを構築する。
• ドメイン対応の知識階層と外部ツールを組み込み、最新の情報ニーズに対応する。
• 取得データの関連性と正確性を保証するために、反復取得と自己評価を可能にする。

提案手法

• 22百万の PubMed abstracts を解析、インデックス作成、セグメンテーションして高品質なローカルコーパスを作成する。
• PubMedBERTをベースにCLIPベースのファインチューニングを用いてドメイン特化の埋め込みモデルを訓練し、生物学的ベクターデータベースを形成する。
• 外部情報源の統合: Gene、dbSNP、Genome、Proteinデータベースと複数のウェブ検索エンジン（Google、Bing、arXiv、Wikimedia、Crossref）を含む。
• MeSHベースの自己評価機構を実装し、専用のMeSH予測器（M_meSH）とMeSHフィルタ付きSQL取得を用いて文脈的関連性を向上させる。
• 5要素の反復パイプラインを適用: Retriever Selection、Query Pre-processing、Retriever Execution、Self-Evaluation、Inference/Generation。
• BioRAG内の検索、フィルタリング、推論をガイドするために、カスタマイズされたプロンプトと専門ツールを活用する。

実験結果

リサーチクエスチョン

• RQ1 BioRAGフレームワークは、内部ドメインコーパスと外部ソースをどのように活用して生物学的QAタスクの精度を向上させることができるか？
• RQ2 MeSHガイド付き検索と自己評価ループが回答品質に与える影響はどの程度か？
• RQ3 ドメイン特化のプロンプトとツール統合により、BioRAGはファインチューニング済みLLMや他のSciRAGフレームワークをライフサイエンスQAベンチマークで上回ることができるか？
• RQ4 GeneTuringやMedMCQAなど、さまざまな生物学QAデータセットにおいてBioRAGはどのように性能を示すか？

主な発見

• BioRAGは、複数のライフサイエンスQAタスクにおいて、ファインチューニング済みLLMs、検索エンジンを組み込んだLLMs、その他の科学系RAGフレームワークを上回る。
• 内部 PubMed abstracts、外部の生物学的ハブ、および多様な検索エンジンの統合は、ベースラインと比較して優れた結果を生み出す。
• 自己評価とMeSHベースのフィルタリングは、タスクを横断して正確性を維持するのに大きく寄与する。
• ベースモデルとしてのLlama-3-70Bは、Llama-3-8Bより一般的に高い性能を達成し、複雑なクエリにおける大規模モデルの利点を反映している。
• Gene-databaseアクセスと特化したPubMedデータは、GeneTuringタスクで高い性能を得るための重要な要素である。