[论文解读] HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution

Éric Nguyen, Michael Poli+11 more|arXiv (Cornell University)|Jun 27, 2023

RNA and protein synthesis mechanisms被引用 148

一句话总结

HyenaDNA 以人类参考基因组为基础进行预训练，具备高达 1 million-token context 的单核苷酸分辨率，在多项基因组基准测试中实现了最先进的结果，参数量更少，并实现了 in-context learning 与 ultralong-range 任务。

ABSTRACT

Genomic (DNA) sequences encode an enormous amount of information for gene regulation and protein synthesis. Similar to natural language models, researchers have proposed foundation models in genomics to learn generalizable features from unlabeled genome data that can then be fine-tuned for downstream tasks such as identifying regulatory elements. Due to the quadratic scaling of attention, previous Transformer-based genomic models have used 512 to 4k tokens as context (<0.001% of the human genome), significantly limiting the modeling of long-range interactions in DNA. In addition, these methods rely on tokenizers or fixed k-mers to aggregate meaningful DNA units, losing single nucleotide resolution where subtle genetic variations can completely alter protein function via single nucleotide polymorphisms (SNPs). Recently, Hyena, a large language model based on implicit convolutions was shown to match attention in quality while allowing longer context lengths and lower time complexity. Leveraging Hyena's new long-range capabilities, we present HyenaDNA, a genomic foundation model pretrained on the human reference genome with context lengths of up to 1 million tokens at the single nucleotide-level - an up to 500x increase over previous dense attention-based models. HyenaDNA scales sub-quadratically in sequence length (training up to 160x faster than Transformer), uses single nucleotide tokens, and has full global context at each layer. We explore what longer context enables - including the first use of in-context learning in genomics. On fine-tuned benchmarks from the Nucleotide Transformer, HyenaDNA reaches state-of-the-art (SotA) on 12 of 18 datasets using a model with orders of magnitude less parameters and pretraining data. On the GenomicBenchmarks, HyenaDNA surpasses SotA on 7 of 8 datasets on average by +10 accuracy points. Code at https://github.com/HazyResearch/hyena-dna.

研究动机与目标

• 推动保留单核苷酸分辨率的长上下文基因组建模，以捕捉 SNP 级效应。
• 开发一个可扩展、无注意力机制的模型（HyenaDNA），能够处理超长的 DNA 序列（最高可达 1M token）。
• 证明更长的上下文能提升预训练困惑度并实现诸如上下文学习等新型下游能力。
• 展示 HyenaDNA 在多项基因组基准测试中达到 SotA 性能，且所需参数和数据显著更少。

提出的方法

• 以解码器为基础的 Hyena 架构作为注意力的可替代实现，采用长卷积和数据控门控。
• 在以单核苷酸 token（A、C、G、T、N，以及特殊 tokens）表示的人类参考基因组上进行训练，上下文长度达到 1,000,000。
• 引入序列长度热启动调度器，以稳定超长序列训练并缩短时间。
• 采用带 FFT 实现的隐式卷积（Hyena），实现每层 O(L log L) 的计算。
• 应用软提示微调以实现下游适配而不更新预训练权重（上下文学习）。
• 在多样化的下游基因组任务上评估，并与基于 Transformer 的基线及 GenomicBenchmarks/Nucleotide Transformer 进行比较。

实验结果

研究问题

• RQ1 在比以往密集注意力模型更短的情况下，基于卷积的长上下文模型是否能够在基因组序列上实现单核苷酸分辨率？
• RQ2 在利用超长上下文的基因组基础模型时，涌现出哪些新的能力，包括上下文学习和软提示？
• RQ3 在标准基因组基准测试上，HyenaDNA 是否以更少的参数和数据达到 SotA？
• RQ4 更长的上下文在多大程度上提升困惑度并使超长距离任务如物种分类成为可能？

主要发现

• HyenaDNA 实现了最多 1,000,000 token 的上下文，具备子二次方规模，并且在 1M 上下文下比 Transformer 快 160 倍的训练速度。
• 在 GenomicBenchmarks 上，HyenaDNA 在 8 个数据集中的 7 个数据集上刷新 SotA，平均提升 +10 个准确度点，增强至 +20 的增强来自于增强子识别任务。
• 在 Nucleotide Transformer 基准测试上，HyenaDNA 在 18 个数据集中超越 SotA，且参数量和预训练数据量级远小于以往模型。
• 在 919-chromatin features（DeepSEA）任务中，HyenaDNA 的性能与基线相比具备可比性且参数大幅更少。
• HyenaDNA 通过软提示和少量示例实现了有效的上下文学习，随着添加的提示令牌越多，性能提高。
• 来自 HyenaDNA 的嵌入按生物型聚类，且在较小模型下达到最高的生物型 F1 分数（72.0 F1，7M 参数）。
• 在一个 5 类物种分类任务中，HyenaDNA 在 1M 上下文下达到 99.5% 的准确率，解决了 Transform er 在如此长度下不可行的任务。