[논문 리뷰] Predicting Anti-microbial Resistance using Large Language Models

Hyunwoo Yoo, Bahrad A. Sokhansanj외 2명|arXiv (Cornell University)|2024. 01. 01.

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 항생제 내성(AMR) 약물 계열을 예측하기 위해 핵산 서열 기반 대규모 언어 모델(LLM)과 PubMed 및 내성 유전자 데이터베이스에 맞춤형으로 튜닝된 생물의학 텍스트 LLM(BioBERT)을 조합한 새로운 앙상블 모델을 제안한다. 서열 데이터와 텍스트에서 유래한 생물학적 배경 지식을 통합하고, 희귀 클래스에 대해 LLM 기반 데이터 증강을 적용함으로써, 새로운 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 서열 전용 모델보다 뛰어난 성능을 보였다.

ABSTRACT

During times of increasing antibiotic resistance and the spread of infectious diseases like COVID-19, it is important to classify genes related to antibiotic resistance. As natural language processing has advanced with transformer-based language models, many language models that learn characteristics of nucleotide sequences have also emerged. These models show good performance in classifying various features of nucleotide sequences. When classifying nucleotide sequences, not only the sequence itself, but also various background knowledge is utilized. In this study, we use not only a nucleotide sequence-based language model but also a text language model based on PubMed articles to reflect more biological background knowledge in the model. We propose a method to fine-tune the nucleotide sequence language model and the text language model based on various databases of antibiotic resistance genes. We also propose an LLM-based augmentation technique to supplement the data and an ensemble method to effectively combine the two models. We also propose a benchmark for evaluating the model. Our method achieved better performance than the nucleotide sequence language model in the drug resistance class prediction.

연구 동기 및 목표

• 과학 문헌의 생물학적 서열 데이터와 텍스트 지식을 통합하여 항생제 내성 유전자 분류의 정확도를 향상시키기.
• 학습 샘플 수가 제한된 희귀 항생제 내성 계열의 데이터 부족 문제를 LLM 기반 데이터 증강을 통해 해결하기.
• EBI ARO 온톨로지로 다수의 데이터베이스(CARD 및 MEGARes)의 레이블을 조율하여 통합된 분류 프레임워크를 개발하기.
• 서열 및 텍스트 LLM을 조합한 이중 모델 앙상블의 성능을 기존 최신 기술 수준의 AMR 예측 방법과 비교하기.
• 다중 소스, 다중 속성 내성 유전자 데이터를 사용하여 AMR 예측 모델 평가를 위한 기준 벤치마크 설정하기.

제안 방법

• 6-mer 토크나이저와 LoRA를 사용한 저차원 적응을 적용하여 다중 종의 핵산 서열 LLM(NT)을 미세조정하여 약물 내성 계열을 예측하기.
• PubMed 및 전문 기사의 생물의학 텍스트를 대상으로 BioBERT를 미세조정하여 유전자 가족 및 내성 메커니즘과 같은 내성 속성 추출하기.
• EBI ARO 온톨로지를 사용하여 CARD 및 MEGARes의 데이터를 통합하여 이질적인 내성 유전자 레이블을 하나의 분류 체계로 통합하기.
• 희귀 내성 계열을 위한 합성 텍스트 기술을 생성하기 위해 BioGPT 프롬프팅을 적용하여 훈련 데이터의 다양성 향상시키기.
• 서열 및 텍스트 표현의 상호보완적 강점을 활용하기 위해 가중치 기반 소프트 보팅 앙상블을 통해 두 모델을 통합하기.
• 모델의 실제 메타게놈 데이터에 대한 강건성을 평가하기 위해 ART 시뮬레이터를 사용하여 양방향 시퀀싱 리드 생성하기.

실험 결과

연구 질문

• RQ1 서열 기반 및 텍스트 기반 LLM을 조합함으로써 서열 전용 모델 대비 항생제 내성 약물 계열 예측 정확도가 향상되는가?
• RQ2 LLM 기반 데이터 증강이 학습 샘플 수가 제한된 희귀 항생제 내성 계열의 모델 성능 향상에 얼마나 효과적인가?
• RQ3 공통 온톨로지(EBI ARO)를 사용해 CARD 및 MEGARes의 다중 데이터베이스 내성 유전자 애너테이션을 통합함으로써 모델의 일반화 능력과 일관성은 얼마나 향상되는가?
• RQ4 서열 및 텍스트 LLM을 조합한 앙상블 모델은 AMR-meta, AMR++, Meta-MARC, DeepARG와 같은 기존 최신 기술 수준의 AMR 예측 도구와 비교해 어떻게 성능을 내는가?
• RQ5 모델가 시뮬레이션된 메타게놈 시퀀싱 리드에서 강력한 성능을 유지하는가를 통해 실제 적용 가능성은 확인되는가?

주요 결과

• 제안된 앙상블 모델은 서열 전용 LLM 베이스라인 대비 더 높은 매크로 F1 스코어를 기록하여 텍스트 기반 생물학적 지식 통합의 가치를 입증하였다.
• BioGPT를 활용한 데이터 증강이 희귀 내성 계열의 성능 향상에 크게 기여하여 데이터 불균형 영향을 감소시켰다.
• EBI ARO 온톨로지를 사용한 CARD 및 MEGARes 레이블 조율은 다양한 데이터베이스 간 일관성 있고 통합된 분류를 가능케 하였다.
• 모델는 시뮬레이션된 메타게놈 시퀀싱 리드에서 뛰어난 경쟁력을 보이며, 시퀀싱 수준의 노이즈와 변동성에 강건함을 입증하였다.
• 가중치 기반 소프트 보팅 앙상블은 개별 모델보다 뛰어난 성능을 보여, 서열과 텍스트 표현의 상호보완적 성질을 확인하였다.
• 본 연구에서 제안한 벤치마크는 향후 AMR 예측 모델 평가를 위한 표준화된 평가 프레임워크를 제공한다.