[논문 리뷰] HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution

Éric Nguyen, Michael Poli외 11명|arXiv (Cornell University)|2023. 06. 27.

RNA and protein synthesis mechanisms인용 수 148

한 줄 요약

HyenaDNA가 인간 참조 게놈에서 최대 1 million-token 컨텍스트를 단일 뉴클레오타이드 해상도로 사전 학습하여, 더 적은 파라미터로 다수의 게놈 벤치마크에서 최첨단 결과를 달성하고, 인-context 학습 및 초장거리 작업을 가능하게 합니다.

ABSTRACT

Genomic (DNA) sequences encode an enormous amount of information for gene regulation and protein synthesis. Similar to natural language models, researchers have proposed foundation models in genomics to learn generalizable features from unlabeled genome data that can then be fine-tuned for downstream tasks such as identifying regulatory elements. Due to the quadratic scaling of attention, previous Transformer-based genomic models have used 512 to 4k tokens as context (<0.001% of the human genome), significantly limiting the modeling of long-range interactions in DNA. In addition, these methods rely on tokenizers or fixed k-mers to aggregate meaningful DNA units, losing single nucleotide resolution where subtle genetic variations can completely alter protein function via single nucleotide polymorphisms (SNPs). Recently, Hyena, a large language model based on implicit convolutions was shown to match attention in quality while allowing longer context lengths and lower time complexity. Leveraging Hyena's new long-range capabilities, we present HyenaDNA, a genomic foundation model pretrained on the human reference genome with context lengths of up to 1 million tokens at the single nucleotide-level - an up to 500x increase over previous dense attention-based models. HyenaDNA scales sub-quadratically in sequence length (training up to 160x faster than Transformer), uses single nucleotide tokens, and has full global context at each layer. We explore what longer context enables - including the first use of in-context learning in genomics. On fine-tuned benchmarks from the Nucleotide Transformer, HyenaDNA reaches state-of-the-art (SotA) on 12 of 18 datasets using a model with orders of magnitude less parameters and pretraining data. On the GenomicBenchmarks, HyenaDNA surpasses SotA on 7 of 8 datasets on average by +10 accuracy points. Code at https://github.com/HazyResearch/hyena-dna.

연구 동기 및 목표

• 장거리 컨텍스트 게놈 모델링을 동기부여하여 단일 뉴클레오타이드 해상도를 보존하고 SNP 수준의 효과를 포착합니다.
• HyenaDNA를 통해 ultralong DNA 서열(최대 1M tokens)을 처리할 수 있는 확장 가능하고 어텐션이 필요 없는 모델을 개발합니다.
• 더 긴 컨텍스트가 프리트레이닝 perplexity를 개선하고 인-context 학습 같은 새로운 다운스트림 기능을 가능하게 함을 시연합니다.
• HyenaDNA가 더 적은 파라미터와 데이터로 다수의 게놈 벤치마크에서 SotA 성능에 도달함을 보입니다.

제안 방법

• long 컨볼루션과 데이터 제어 게이팅으로 어텐션의 대체재로 사용할 디코더 전용 Hyena 아키텍처를 활용합니다.
• 단일 뉴클레오타이드 토큰(A, C, G, T, N, 및 특별 토큰 포함)과 컨텍스트 길이가 최대 1,000,000까지인 인간 참조 게놈에서 학습합니다.
• 초장 문자열 훈련의 안정화를 위해 시퀀스 길이 워밍업 스케줄러를 도입하고 시간을 줄입니다.
• FFT 기반 구현으로 암묵적 컨볼루션(Hyena)을 적용하여 계층당 O(L log L) 계산을 달성합니다.
• 사전 학습 가중치를 업데이트하지 않고 다운스트림 적응을 가능하게 하는 소프트 프롬프트 튜닝을 적용합니다(인-context 학습).
• 다양한 다운스트림 게놈 작업에 대해 평가하고 Transformer 기반 베이스라인 및 GenomicBenchmarks/Nucleotide Transformer와 비교합니다.

실험 결과

연구 질문

• RQ1 합성된 밀도(attention) 모델보다 긴 컨텍스트에서 게놈 서열에 대해 단일 뉴클레오타이드 해상도를 달성할 수 있는 합성 기반의 롱 컨텍스트 모델이 가능한가요?
• RQ2 인-context 학습 및 소프트 프롬 prompting 등 초장 컨텍스트 게놈 기초 모델을 활용할 때 어떤 새로운 능력이 나타나나요?
• RQ3 HyenaDNA가 이전 모델들보다 파라미터와 데이터가 훨씬 적은 상태에서 표준 게놈 벤치마크에서 어떻게 성능을 발휘하나요?
• RQ4 더 긴 컨텍스트가 perplexity를 얼마나 개선하고 종(種) 분류와 같은 초장-range 작업을 가능하게 하나요?

주요 결과

• HyenaDNA는 1,000,000 토큰 컨텍스트까지의 초다항 규모의 확장과 Transformer 대비 1M 컨텍스트에서 160배 더 빠른 학습 속도를 달성합니다.
• GenomicBenchmarks에서 HyenaDNA는 8개 데이터 세트 중 7개에서 SotA를 달성하며 평균적으로 정확도 포인트가 +10, 엔자워드 식별에서 최대 +20까지 상승합니다.
• Nucleotide Transformer 벤치마크에서 HyenaDNA는 파라미터와 프리트레이닝 데이터가 수 차례 적은 모델로 18개 데이터 세트 중 12개에서 SotA를 능가합니다.
• 919-chromatin features(DeepSEA) 작업에서 HyenaDNA는 베이스라인보다 훨씬 적은 파라미터로 경쟁력 있습니다.
• HyenaDNA는 소프트 프롬팅과 소수 샷 시연을 통해 인-context 학습을 효과적으로 시연하며 프롬프트 토큰이 추가될수록 성능이 향상됩니다.
• HyenaDNA의 임베딩은 생물학적 타입별로 클러스터링되며 아주 작은 모델(7M 파라미터)로 가장 높은 생물학적 타입 F1 점수를 달성합니다.
• 5종 종 분류 작업에서 1M 컨텍스트에서 99.5%의 정확도를 달성하여 Transformer가 이러한 길이에서 불가능한 작업을 해결합니다.