[논문 리뷰] HybriDNA: A Hybrid Transformer-Mamba2 Long-Range DNA Language Model

Mingqian Ma, Guoqing Liu외 13명|ArXiv.org|2025. 02. 15.

Environmental DNA in Biodiversity Studies인용 수 5

한 줄 요약

HybriDNA는 디코더만 사용하는 하이브리드 Transformer-Mamba2 DNA 언어 모델로 초장 DNA 서열을 단일 뉴클레오타이드 해상도로 처리하고, DNA 이해 벤치마크와 생성 설계 작업에서 최첨단 성능을 달성하며, 300M에서 7B 파라미터 및 최대 131k 토큰의 컨텍스트 길이에서 확장 이점을 보인다.

ABSTRACT

Advances in natural language processing and large language models have sparked growing interest in modeling DNA, often referred to as the "language of life". However, DNA modeling poses unique challenges. First, it requires the ability to process ultra-long DNA sequences while preserving single-nucleotide resolution, as individual nucleotides play a critical role in DNA function. Second, success in this domain requires excelling at both generative and understanding tasks: generative tasks hold potential for therapeutic and industrial applications, while understanding tasks provide crucial insights into biological mechanisms and diseases. To address these challenges, we propose HybriDNA, a decoder-only DNA language model that incorporates a hybrid Transformer-Mamba2 architecture, seamlessly integrating the strengths of attention mechanisms with selective state-space models. This hybrid design enables HybriDNA to efficiently process DNA sequences up to 131kb in length with single-nucleotide resolution. HybriDNA achieves state-of-the-art performance across 33 DNA understanding datasets curated from the BEND, GUE, and LRB benchmarks, and demonstrates exceptional capability in generating synthetic cis-regulatory elements (CREs) with desired properties. Furthermore, we show that HybriDNA adheres to expected scaling laws, with performance improving consistently as the model scales from 300M to 3B and 7B parameters. These findings underscore HybriDNA's versatility and its potential to advance DNA research and applications, paving the way for innovations in understanding and engineering the "language of life".

연구 동기 및 목표

• Transformer 주의 메커니즘과 Selective State Space Models (Mamba2)을 결합한 디코더형 DNA 기초 모델을 개발하여 초장 서열을 단일 뉴클레오타이드 해상도로 처리할 수 있게 한다.
• 다종 종 유전체 말뭉치에서 일반적 유전체 표현을 학습하기 위한 사전 학습을 수행한다.
• 이해 작업을 위한 판별적 미세 조정과 합성 규제 DNA 요소 설계를 위한 생성적 미세 조정을 시연한다.
• 확장 법칙과 컨텍스트 길이 증가가 성능에 미치는 영향을 조사한다.

제안 방법

• 하이브리드 아키텍처: HybriDNA Mamba2 블록과 HybriDNA Transformer 블록을 7:1 비율로 교차 배치한다.
• HybriDNA Mamba2 블록은 효율을 위해 A_t를 a_t I로 간소화한 상태-공간 이중성(SSD)을 사용하고 텐서 병렬처리로 병렬 처리한다.
• 845종에 걸친 총 160.75B 뉴클레오타이드(train)와 13.25B 뉴클레오타이드(valid)에 걸친 다종 종 게놈에서의 next-token 예측 기반 사전 학습.
• 이해 작업을 위한 미래-context 정보를 주입하는 Echo 임베딩 판별적 미세 조정.
• 제어된 시퀀스 생성을 가능하게 하는 작업 특화 프롬프트 토큰으로 생성적 미세 조정.
• 컨텍스트 길이를 8k에서 32k, 131k 토큰으로 워밍업하는 두 단계의 사전 학습.

실험 결과

연구 질문

• RQ1 HybriDNA가 여러 종에 걸친 짧은 범위 및 긴 범위 DNA 이해 벤치마크에서 최첨단 성능을 달성할 수 있는가?
• RQ2 하이브리드 Transformer-Mamba2 아키텍처가 순수 트랜스포머나 순수 SSM 접근 방식에 비해 초장 DNA 서열의 효율성과 확장성을 향상시키는가?
• RQ3 모델 크기와 컨텍스트 길이가 성능에 어떤 영향을 미치고 HybriDNA에 대해 확장 법칙이 성립하는가?
• RQ4 HybriDNA가 종 간의 현실적이고 바람직한 시스-조절 요소를 생성할 수 있는가?

주요 결과

• HybriDNA는 33개의 DNA 이해 데이터 세트에서 최첨단 성능을 달성했으며 Echo 임베딩 미세 조정을 통해 최대 35에 도달.
• 300M에서 3B 및 7B 파라미터로 확장하면 벤치마크에서 일관된 성능 향상이 나타남.
• 131k 토큰까지의 긴 컨텍스트 처리로 장거리 작업의 성능이 향상됨.
• HybriDNA는 효모 프로모터 및 세포 유형 특이적 인간 강화제 등 합성 CRE 설계에서 강한 생성 능력을 보임.
• 에코 임베딩은 이해 작업에서 판별 성능을 향상시킴.
• 에코 임베딩이 포함된 모델 변종은 여러 작업에서 지표가 개선됨.