[論文レビュー] Archive of PubTator 3.0 source code and trained models

Chih-Hsuan Wei, Alexis Allot+8 more|PubMed|Jan 19, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

PubTator 3.0 は、最先端の NLP モデルを活用した AI ベースのバイオメディカル文献リソースであり、3600万件のPubMed 概要と600万件のPMC 全文記事において10億を超えるエンティティおよび関係のアノテーションを提供する。PubMed や Google Scholar よりも高い正確性と再現率を実現する高度な意味的および関係検索を可能にし、GPT-4 などの大規模言語モデルと統合することで、AI 生成応答の事実性と検証可能性を向上させる。

ABSTRACT

PubTator 3.0 (https://www.ncbi.nlm.nih.gov/research/pubtator3/) is a biomedical literature resource using state-of-the-art AI techniques to offer semantic and relation searches for key concepts like proteins, genetic variants, diseases, and chemicals. It currently provides over one billion entity and relation annotations across approximately 36 million PubMed abstracts and 6 million full-text articles from the PMC open access subset, updated weekly. PubTator 3.0's online interface and API utilize these precomputed entity relations and synonyms to provide advanced search capabilities and enable large-scale analyses, streamlining many complex information needs. We showcase the retrieval quality of PubTator 3.0 using a series of entity pair queries, demonstrating that PubTator 3.0 retrieves a greater number of articles than either PubMed or Google Scholar, with higher precision in the top 20 results. We further show that integrating ChatGPT (GPT-4) with PubTator APIs dramatically improves the factuality and verifiability of its responses. In summary, PubTator 3.0 offers a comprehensive set of features and tools that allow researchers to navigate the ever-expanding wealth of biomedical literature, expediting research and unlocking valuable insights for scientific discovery.

研究の動機と目的

• 膨大に増加するバイオメディカル文献を効率的かつ意味的認識に基づいた情報検索で効果的に扱う課題に対処すること。
• 研究者による手動作業を最小限に抑え、自動的にバイオメディカルの主要なエンティティとその関係を同定・分類するスケーラブルな AI ベースのシステムを構築すること。
• PubMed や Google Scholar のような従来のキーワードベースの検索システムを上回る、文献検索の正確性と再現率を向上させること。
• 大規模言語モデルを活用し、バイオメディカル文脈における AI 生成応答の事実性と検証可能性を強化すること。
• 研究者が知識発見を加速できるように、公開可能で最新の状態に保たれ、スケーラブルなリソースを提供すること。

提案手法

• バイオメディカルコーパスで微調整された最先端のディープラーニングモデルを用いて、タンパク質、疾患、化学物質、遺伝子変異など、エンティティを抽出・分類する。
• ニューラル関係抽出モデルを適用し、テキスト内でのエンティティ間の意味的関係（例：タンパク質-疾患、薬物-化学物質相互作用）を同定する。
• 3600万件のPubMed 概要と600万件のPMC 全文記事の包括的コーパス全体にわたり、事前に計算されたアノテーションを索引付けし、毎週更新する。
• エンティティの同義語や正規化識別子を用いた意味的および関係ベースのクエリをサポートする、オンラインインターフェースとプログラム可能な API を提供する。
• GPT-4 と API 呼び出しによる統合により、LLM が生成する応答の検証と精緻化を実現し、事実の整合性と出典への追跡可能性を向上させる。
• バイオメディカルテキストで事前学習された大規模言語モデルからの転移学習を活用することで、最小限の微調整で高い性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 AI ベースのシステムは、PubMed や Google Scholar よりもバイオメディカル文献検索において高い正確性と再現率を達成できるか？
• RQ2 事前に計算されたエンティティおよび関係のアノテーションは、バイオメディカル文献における意味的検索の効率性と正確性をどの程度向上させるか？
• RQ3 GPT-4 などの大規模言語モデルを PubTator 3.0 のようなキュレート済みの知識ベースと統合することで、AI 生成応答の事実性と検証可能性はどの程度向上するか？
• RQ4 スケーラブルで自動化されたシステムは、動的かつ大規模なバイオメディカル文献コーパスにおいても、高品質なアノテーションを維持できるか？
• RQ5 同義語正規化とエンティティリンクの手法は、複雑なバイオメディカルクエリにおける意味的検索の有効性にどのような影響を与えるか？

主な発見

• PubTator 3.0 は、エンティティペアクエリにおいて、PubMed や Google Scholar よりも顕著に関連性の高い論文を検索し、上位20件の結果で高い正確性を示した。
• 3600万件の概要と600万件の全訳記事において、10億を超えるエンティティおよび関係のアノテーションを達成した。
• GPT-4 と PubTator 3.0 の API 統合により、単独での LLM 推論に比べ、より事実に整合的で検証可能な応答が得られた。
• 事前に計算されたアノテーションにより、低遅延かつスケーラブルな意味的検索が可能となり、大規模データ分析や知識発見を支援した。
• システムは毎週更新され、最新のバイオメディカル文献にアクセス可能であり、一貫性のあるエンティティおよび関係のラベル付けが保たれた。
• 標準化されたエンティティ識別子と同義語マッピングの活用により、ドキュメント間のエンティティリンクとクエリ解決の精度が向上した。