Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] Bio-xLSTM: Generative modeling, representation and in-context learning of biological and chemical sequences

Niklas Schmidinger, Lisa Schneckenreiter|arXiv (Cornell University)|2024. 11. 06.
Machine Learning in Bioinformatics인용 수 5
한 줄 요약

Bio-xLSTM은 DNA, 단백질, 및 SMILES에 xLSTM 아키텍처를 맞춤화하여 장문 컨텍스트 생성 모델링, 풍부한 표현, 및 선형 런타임 시퀀스 모델링을 통한 컨텍스트 내 학습을 가능하게 한다.

ABSTRACT

Language models for biological and chemical sequences enable crucial applications such as drug discovery, protein engineering, and precision medicine. Currently, these language models are predominantly based on Transformer architectures. While Transformers have yielded impressive results, their quadratic runtime dependency on the sequence length complicates their use for long genomic sequences and in-context learning on proteins and chemical sequences. Recently, the recurrent xLSTM architecture has been shown to perform favorably compared to Transformers and modern state-space model (SSM) architectures in the natural language domain. Similar to SSMs, xLSTMs have a linear runtime dependency on the sequence length and allow for constant-memory decoding at inference time, which makes them prime candidates for modeling long-range dependencies in biological and chemical sequences. In this work, we tailor xLSTM towards these domains and propose a suite of architectural variants called Bio-xLSTM. Extensive experiments in three large domains, genomics, proteins, and chemistry, were performed to assess xLSTM's ability to model biological and chemical sequences. The results show that models based on Bio-xLSTM a) can serve as proficient generative models for DNA, protein, and chemical sequences, b) learn rich representations for those modalities, and c) can perform in-context learning for proteins and small molecules.

연구 동기 및 목표

  • 생물학적 및 화학적 시퀀스에 대해 Transformer 기반 아키텍처를 넘어서는 장문 맥락 언어 모델을 동기화하고 개발한다.
  • DNA-xLSTM, Prot-xLSTM, Chem-xLSTM 등 도메인 특화 변형으로 xLSTM을 적응시키고 생성, 인페인팅, 및 ICL을 가능하게 한다.
  • 게놈학, 단백질, 및 화학 시퀀스 태스크에서 Bio-xLSTM을 평가하고 최신 기준선과 비교한다.
  • DNA에 대한 RC-등가성(역보완) 여부를 입증하고 분류 및 설계 태스크에서 다운스트림 성능을 평가한다.
  • 정밀한 미세조정 없이도 맥락 내 학습 능력 및 도메인 조건부 생성을 시연한다.

제안 방법

  • 생물학적 및 화학적 시퀀스에 맞도록 sLSTM 및 mLSTM 블록으로 xLSTM을 확장한다.
  • 긴 거리 의존성을 위한 컨텍스트 윈도우 및 RoPE를 갖춘 DNA-xLSTM, Prot-xLSTM, Chem-xLSTM의 세 가지 도메인 특화 변형을 개발한다.
  • 인과적 언어 모델링(CLM), 마스킹된 언어 모델링(MLM), 중간 채우기(FIM), 맥락 내 학습(ICL) 등 모델링 모드를 구현한다.
  • 사후 결합(PH) 또는 매개변수 공유(PS)를 통한 역보완( RC) 등가성 도입.
  • DNA-xLSTM을 인간 게놈에서 RC-등가성 변형으로 학습하고 HyenaDNA, Mamba, DNA-Mamba, Transformer와 비교한다.
  • 호몰로지 인식 기반의 정렬 불필요 입력을 사용하여 FIM으로 Prot-xLSTM을 학습하고 생성 및 변이 적합도 예측에 대해 평가한다.
  • 무조건적 SMILES 생성 및 도메인 조건부 ICL을 위한 Chem-xLSTM을 학습하고 SMILES 리얼리즘을 평가한다.
  • RoPE를 활용한 장문 컨텍스트 능력과 단백질은 최대 262k 토큰, DNA는 최대 32k 토큰까지의 컨텍스트 크기를 평가한다.
Figure 1: Overview of Bio-xLSTM. Top left: xLSTM for natural language processing tasks. Top right: Considered modeling approaches for biological sequences: masked language modeling, equivariance to reverse complementary sequence, and in-context learning. Bottom left: DNA-xLSTM models are trained on
Figure 1: Overview of Bio-xLSTM. Top left: xLSTM for natural language processing tasks. Top right: Considered modeling approaches for biological sequences: masked language modeling, equivariance to reverse complementary sequence, and in-context learning. Bottom left: DNA-xLSTM models are trained on

실험 결과

연구 질문

  • RQ1Bio-xLSTM 변형이 선형 메모리 확장으로 장생물학적 및 화학적 시퀀스를 효과적으로 모델링할 수 있는가?
  • RQ2DNA-xLSTM, Prot-xLSTM, Chem-xLSTM이 각 태스크에서 도메인 특화 트랜스포머 및 SSM 기반 모델에 비해 경쟁력 있거나 우수한 성능을 제공하는가?
  • RQ3RC-등가성 설계(PH/PS)가 DNA 모델링 및 다운스트림 태스크에 유익한가?
  • RQ4Prot-xLSTM이 호몰로지 조건부 맥락 내 학습을 통한 생성 설계 및 잔류물 수준 예측에 활용될 수 있는가?
  • RQ5Chem-xLSTM이 미세튜닝 없이 분자 생성에 대한 도메인 조건부 맥락 내 학습을 가능하게 하는가?

주요 결과

  • DNA-xLSTM은 2M 매개변수로 인간 게놈에서 CLM 및 MLM 사전 학습에서 트랜스포머, Mamba, 및 HyenaDNA를 능가한다.
  • DNA-xLSTM-2M(PH/PS)은 18개 태스크 중 12개에서 하류 게놈 분류 태스크에서 기반선과 동일하거나 상회하며 2M 매개변수 이하에서 동작한다.
  • Prot-xLSTM-102M은 동족성 조건부 단백질 생성에서 더 나은 퍼플렉시티와 생성 품질을 달성하며, 특히 더 긴 컨텍스트에서 ProtMamba 및 Transformer++ 벤치마크를 능가한다.
  • Prot-xLSTM-102M은 총 학습 토큰 수가 더 적은데도 ProtMamba-107M을 능가하는 경우가 있어 장문 맥락 학습이 효율적임을 시사한다.
  • Chem-xLSTM은 무조건적 SMILES 생성에서 프레셰(Fréchet ChemNet Distance, FCD)가 가장 낮고, 퍼플렉시티도 경쟁적이며 현실적인 화학 산출물을 보여준다.
Figure 2: Pre-training of 2M-parameter DNA models on the human reference genome (GRCh38). Models are trained at single-nucleotide resolution with a context length of 1024 bases. Left: causal language modeling . Learning curves display NTP loss ( $\downarrow$ ) on a test set, plotted against the numb
Figure 2: Pre-training of 2M-parameter DNA models on the human reference genome (GRCh38). Models are trained at single-nucleotide resolution with a context length of 1024 bases. Left: causal language modeling . Learning curves display NTP loss ( $\downarrow$ ) on a test set, plotted against the numb

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.