[論文レビュー] GP-GPT: Large Language Model for Gene-Phenotype Mapping

Yanjun Lyu, Zihao Wu+12 more|arXiv (Cornell University)|Sep 15, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

GP-GPT は、OMIM、DisGeNET、dbGaP などのキュレート済みデータベースから抽出された 300万以上のゲノムおよび医学遺伝学用語を微調整した専用の大規模言語モデルである。GP-GPT は、遺伝子-フェノタイプマッピング、ゲノムQA、関係特定の分野で、Llama3 や GPT-4 といった最先端モデルを上回る性能を示し、バイオエンティティ表現の向上と、AI支援遺伝疾患予測の可能性を示している。

ABSTRACT

Pre-trained large language models(LLMs) have attracted increasing attention in biomedical domains due to their success in natural language processing. However, the complex traits and heterogeneity of multi-sources genomics data pose significant challenges when adapting these models to the bioinformatics and biomedical field. To address these challenges, we present GP-GPT, the first specialized large language model for genetic-phenotype knowledge representation and genomics relation analysis. Our model is fine-tuned in two stages on a comprehensive corpus composed of over 3,000,000 terms in genomics, proteomics, and medical genetics, derived from multiple large-scale validated datasets and scientific publications. GP-GPT demonstrates proficiency in accurately retrieving medical genetics information and performing common genomics analysis tasks, such as genomics information retrieval and relationship determination. Comparative experiments across domain-specific tasks reveal that GP-GPT outperforms state-of-the-art LLMs, including Llama2, Llama3 and GPT-4. These results highlight GP-GPT's potential to enhance genetic disease relation research and facilitate accurate and efficient analysis in the fields of genomics and medical genetics. Our investigation demonstrated the subtle changes of bio-factor entities' representations in the GP-GPT, which suggested the opportunities for the application of LLMs to advancing gene-phenotype research.

研究の動機と目的

• 複数の生物学的レベルにまたがる複雑で多様性のあるゲノムおよびフェノタイプデータの表現の課題に対処すること。
• 構造化済みおよび非構造化バイオメディカルデータを統合する一元化されたフレームワークを、LLMベースのシステムに統合すること。
• 遺伝子-フェノタイプ関係抽出および医学遺伝学情報検索の精度を向上させること。
• 特にサンプル数が少ないまたは不均衡なデータの状況においても、AI支援診断および遺伝疾患関連の発見を可能にすること。

提案手法

• 3サイズ（Small、Base、Large）のLlamaベースのLLMを、300万以上のゲノムおよび医学遺伝学用語からなるキュレート済みコーパスで微調整した。
• OMIM、DisGeNET、UniProt、dbGaP などの構造化データソースおよび非構造化科学文献から包括的なテキストコーパスを構築した。
• 分野特化理解および遺伝子・フェノタイプエンティティの表現を強化するため、2段階の微調整を適用した。
• 共通のベクトル空間内での遺伝子・タンパク質・疾患の関連埋め込みを整列させるために、対照的学習およびアテンション機構を活用した。
• ベンチマークデータセットを用いて、ゲノムQAおよびゲノム関係特定タスクにおけるモデル性能を評価した。
• 微調整後の隠れ表現を分析し、生物学的に整合性のある遺伝子-疾患グループのクラスタリングが向上したことを示した。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、バイオメディカルテキスト内の複雑な遺伝子-フェノタイプ-疾患関係を効果的に表現・推論できるか？
• RQ2 ゲノムコーパスに分野特化して微調整することで、一般向けモデルと比較してLLMのゲノム固有タスクにおける性能がどの程度向上するか？
• RQ3 モデルサイズおよびアーキテクチャは、遺伝疾患関連の文脈において、バイオエンティティ表現の質にどの程度の影響を及ぼすか？
• RQ4 モデルは、多層的な生物学的知識統合を要する複雑な遺伝医学的質問に対して、信頼性があり文脈に即した回答を生成できるか？
• RQ5 微調整されたモデルは、埋め込み空間においてより一貫性があり生物学的に意味のある遺伝子および疾患のクラスタリングを学習しているか？

主な発見

• GP-GPT は、Llama2、Llama3、GPT-4 を含む最先端のLLMを、ゲノムQAおよびゲノム関係特定タスクで上回った。
• 微調整済みモデルは、神経系および脳関連遺伝子・疾患の埋め込み空間内でのクラスタリングが明確に改善された、遺伝子およびフェノタイプエンティティの隠れ表現が顕著に向上していた。
• モデルサイズは性能に顕著な影響を及ぼし、GP-GPT Large（70Bパラメータ）が全評価タスクで最高の正確性を達成した。
• Aβ40アングイオパシーと脳出血、LRRK2変異とLewy body病との関連など、複雑で多面的な関連を効果的に抽出した。
• 微調整はバイオ要因エンティティ表現にわずかだが意味のある変化をもたらし、生物学的関係の理解が深まったことを示した。
• GP-GPT は、データが限られている、または不均衡な状況においても、AI支援遺伝疾患予測の強力な可能性を示した。