[論文レビュー] CurateGPT: A flexible language-model assisted biocuration tool

Harry Caufield, Carlo Kroll+11 more|arXiv (Cornell University)|Oct 29, 2024

Biomedical Text Mining and Ontologies被引用数 4

ひとこと要約

CurateGPT は、信頼できる知識ベースや文献資料と統合された生成AIを組み合わせた大規模言語モデル（LLM）駆動のバイオコーパイルレーションツールであり、専門家によるコーパイルレーションを強化する。自動推論、オントロジー検索、外部データ取得を可能とし、LLMのトレーニングデータを超える根拠にリンクすることで、コーパイルレーションの効率性とトレーサビリティを著しく向上させる。

ABSTRACT

Effective data-driven biomedical discovery requires data curation: a time-consuming process of finding, organizing, distilling, integrating, interpreting, annotating, and validating diverse information into a structured form suitable for databases and knowledge bases. Accurate and efficient curation of these digital assets is critical to ensuring that they are FAIR, trustworthy, and sustainable. Unfortunately, expert curators face significant time and resource constraints. The rapid pace of new information being published daily is exceeding their capacity for curation. Generative AI, exemplified by instruction-tuned large language models (LLMs), has opened up new possibilities for assisting human-driven curation. The design philosophy of agents combines the emerging abilities of generative AI with more precise methods. A curator's tasks can be aided by agents for performing reasoning, searching ontologies, and integrating knowledge across external sources, all efforts otherwise requiring extensive manual effort. Our LLM-driven annotation tool, CurateGPT, melds the power of generative AI together with trusted knowledge bases and literature sources. CurateGPT streamlines the curation process, enhancing collaboration and efficiency in common workflows. Compared to direct interaction with an LLM, CurateGPT's agents enable access to information beyond that in the LLM's training data and they provide direct links to the data supporting each claim. This helps curators, researchers, and engineers scale up curation efforts to keep pace with the ever-increasing volume of scientific data.

研究の動機と目的

• 生物医学文献の量と専門家による手動コーパイルレーションの能力の間のギャップを解消すること。
• 生成AIを活用して推論、オントロジー照会、外部知識統合を自動化することで、データコーパイルレーションに要する時間と労力を削減すること。
• FAIR（検索可能、アクセス可能、相互運用可能、再利用可能）かつ信頼できるデータを確保するため、トレーサブルで根拠に基づいたアノテーションを提供すること。
• AI支援エージェントを通じてコーパイラーや研究者、エンジニア間の連携を促進し、コーパイルレーションワークフローを合理化すること。
• LLMの直接的対話における制限を克服し、モデルの静的トレーニング分布を超える最新の外部データソースへのアクセスを可能にすること。

提案手法

• 指示微調整済みLLMと外部知識取得を組み合わせたモジュラーでエージェントベースのシステムとしてCurateGPTを設計・実装すること。
• 推論、バイオメディカルオントロジー（例：MONDO、HPO）の照会、科学文献およびデータベースからの根拠の取得を実行できるエージェントを統合すること。
• LLMのトレーニングデータを超えるリアルタイムで最新のデータソースに根拠を置くために、リtrieval-augmented generation（RAG）技術を用いること。
• 引用追跡およびプロヴァンスログを埋め込むことで、各アノテーションの主張がその出典資料にリンクされ、透明性と信頼性が向上することを保証すること。
• バージョニング、監査証跡、知識ベースおよびデータベースと互換性のある構造化出力形式をサポートすることで、共同コーパイルレーションワークフローを支援すること。
• 既存のコーパイルレーションパイプラインおよびプラットフォームへの統合を可能にするために、セキュアでスケーラブルな環境にシステムをデプロイすること。

実験結果

リサーチクエスチョン

• RQ1 LLM駆動のエージェントは、高い正確性とトレーサビリティを維持したまま、手動バイオコーパイルレーションに要する時間を著しく短縮できるか？
• RQ2 LLMのトレーニングデータを超える外部知識ソースへのアクセスによって、AIエージェントはコーパイルレーションをどの程度向上できるか？
• RQ3 根拠のトレースと出典リンクの統合は、コーディングされたデータの信頼性と再現可能性をどのように向上させるか？
• RQ4 エージェントベースのコーパイルレーションツールは、バイオメディカル知識ベースにおける大規模かつ共同のコーパイルレーションを効果的にスケーリングできるか？
• RQ5 直接LLMプロンプトと比較して、CurateGPTはコーパイルレーションの効率性、正確性、信頼性においてどのように異なるか？

主な発見

• CurateGPT は、オントロジーや文献など、LLMの静的トレーニングデータを超える外部ソースからの情報をコーパイラーむけにアクセス・統合できる。
• 各主張に対して直接的でトレーサブルな根拠へのリンクを提供するため、アノテーションの透明性と監査可能性が向上する。
• 生成的推論と構造的知識取得を組み合わせることで、複雑な生物学的情報を抽出・検証するための手作業の負担が軽減される。
• エージェントベースのアーキテクチャにより、多様な生物学的分野におけるさまざまなコーパイルレーションタスクをサポートするモジュラーで拡張可能なワークフローが可能になる。
• 直接LLMとの対話と比較して、CurateGPT は権威的で最新のデータソースに根拠を置くことで、信頼性と一貫性が向上する。
• 明確なプロヴァンスを備えた構造的でバージョニング可能なコーパイルレーションを可能にすることで、協働を促進し、持続可能でFAIRなデータ実践を支援する。