[論文レビュー] Predicting Anti-microbial Resistance using Large Language Models

Hyunwoo Yoo, Bahrad A. Sokhansanj+2 more|arXiv (Cornell University)|Jan 1, 2024

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本論文は、抗生物質耐性（AMR）の薬剤クラスを予測するために、ヌクレオチド配列ベースの大型言語モデル（LLM）と、PubMedおよび耐性遺伝子データベースで微調整されたバイオメディカルテキストLLM（BioBERT）を組み合わせた新規アンサンブルモデルを提案する。配列データとテキストからの生物学的背景知識を統合し、レアクラスのためのLLMベースのデータ拡張を実施することで、新しいベンチマーク上で最先端の性能を達成し、配列のみのモデルを上回った。

ABSTRACT

During times of increasing antibiotic resistance and the spread of infectious diseases like COVID-19, it is important to classify genes related to antibiotic resistance. As natural language processing has advanced with transformer-based language models, many language models that learn characteristics of nucleotide sequences have also emerged. These models show good performance in classifying various features of nucleotide sequences. When classifying nucleotide sequences, not only the sequence itself, but also various background knowledge is utilized. In this study, we use not only a nucleotide sequence-based language model but also a text language model based on PubMed articles to reflect more biological background knowledge in the model. We propose a method to fine-tune the nucleotide sequence language model and the text language model based on various databases of antibiotic resistance genes. We also propose an LLM-based augmentation technique to supplement the data and an ensemble method to effectively combine the two models. We also propose a benchmark for evaluating the model. Our method achieved better performance than the nucleotide sequence language model in the drug resistance class prediction.

研究の動機と目的

• 科学文献からのテキスト知識と生物的配列データを統合することで、抗生物質耐性遺伝子分類の精度を向上させること。
• 訓練サンプルが限られる稀な抗生物質耐性クラスにおけるデータ不足を、LLMベースのデータ拡張によって解決すること。
• EBI AROオントロジーを用いて複数のデータベース（CARDとMEGARes）のラベルを統一することで、統合分類フレームワークを構築すること。
• 配列とテキストLLMを統合した二重モデルアンサンブルの性能を、既存の最先端AMR予測手法と比較して評価すること。
• 複数のソースおよび属性を持つ耐性遺伝子データを用いて、AMR予測モデルの評価のためのベンチマークを確立すること。

提案手法

• 6-merトークナイザーとLoRA（低ランク適応）を用いて、多系統のヌクレオチド配列LLM（NT）を微調整し、薬剤耐性クラスを予測する。
• PubMedおよび全文アーティクルからのバイオメディカルテキストを用いてBioBERTを微調整し、遺伝子ファミリーおよび耐性メカニズムなどの耐性属性を抽出する。
• EBI AROオントロジーを用いてCARDおよびMEGAResのデータを統合し、多様な耐性遺伝子ラベルを一貫した分類システムに統一する。
• BioGPTのプロンプティングを活用して、稀な耐性クラスのための合成テキスト記述を生成し、訓練データの多様性を向上させる。
• 配列表現とテキスト表現の相補的特徴を活かすために、重み付きソフト投票アンサンブルにより二つのモデルを統合する。
• ARTシミュレータを用いてペアエンドシーケンシングリードを生成し、実世界のメタゲノムデータに対するモデルの耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 配列ベースとテキストベースのLLMを統合することで、配列のみのモデルと比較して抗生物質耐性薬剤クラスの予測精度が向上するか？
• RQ2 LLMベースのデータ拡張は、訓練サンプルが限られる稀な抗生物質耐性クラスのモデル性能向上にどの程度効果的か？
• RQ3 共通のオントロジーを用いて複数データベース（CARDとMEGARes）の耐性遺伝子アノテーションを統合することで、モデルの汎化性能と一貫性はどの程度向上するか？
• RQ4 配列とテキストLLMのアンサンブルは、AMR-meta、AMR++、Meta-MARC、DeepARGといった既存の最先端AMR予測ツールと比較して、どのように差をつけるか？
• RQ5 モデルは、シミュレートされたメタゲノムシーケンシングリードに対して強い性能を維持するか。これは、実世界への適用可能性を示唆するか？

主な発見

• 提案されたアンサンブルモデルは、配列のみのLLMベースラインよりも高いマクロF1スコアを達成し、テキスト生物学的知識の統合の価値を示した。
• BioGPTを用いたデータ拡張により、稀な耐性クラスにおける性能が顕著に向上し、データの不均衡の影響が軽減された。
• EBI AROオントロジーを用いたCARDおよびMEGAResのラベル統合により、多様なデータベース間で一貫した統一分類が可能になった。
• モデルは、シミュレートされたメタゲノムリードにおいて強力な性能を示し、シーケンシングレベルのノイズやばらつきに対しても耐性があることを示した。
• 重み付きソフト投票アンサンブルは、個々のモデルを上回った。これは、配列表現とテキスト表現が相補的であることを裏付けた。
• 本研究で提示されたベンチマークは、将来的なAMR予測モデルの標準化された評価フレームワークを提供する。