[논문 리뷰] BEND: Benchmarking DNA Language Models on biologically meaningful tasks

Frederikke Isa Marin, Felix Teufel외 5명|arXiv (Cornell University)|2023. 11. 21.

RNA and protein synthesis mechanisms참고 문헌 51인용 수 27

한 줄 요약

BEND는 인간 게놈의 일곱 가지 생물학적으로 의미 있는 과제에 걸쳐 DNA 언어 모델을 위한 표준화된 벤치마크를 제안하고, 여러 LMs와 베이스라인을 평가하여 게놈 데이터의 장기 의존성과 희소 신호 추론을 평가한다.

ABSTRACT

The genome sequence contains the blueprint for governing cellular processes. While the availability of genomes has vastly increased over the last decades, experimental annotation of the various functional, non-coding and regulatory elements encoded in the DNA sequence remains both expensive and challenging. This has sparked interest in unsupervised language modeling of genomic DNA, a paradigm that has seen great success for protein sequence data. Although various DNA language models have been proposed, evaluation tasks often differ between individual works, and might not fully recapitulate the fundamental challenges of genome annotation, including the length, scale and sparsity of the data. In this study, we introduce BEND, a Benchmark for DNA language models, featuring a collection of realistic and biologically meaningful downstream tasks defined on the human genome. We find that embeddings from current DNA LMs can approach performance of expert methods on some tasks, but only capture limited information about long-range features. BEND is available at https://github.com/frederikkemarin/BEND.

연구 동기 및 목표

• DNA 언어 모델(LMs)에 대한 표준화되고 생물학적으로 기반한 평가 체계를 제시한다.
• 현행 DNA LMs가 장거리 맥락 정보와 희소 규제 신호를 얼마나 잘 포착하는지 평가한다.
• 다양한 길이 척도의 현실적 게놈 과제에서 광범위한 LM 아키텍처와 토크나이제이션을 평가한다.
• 사전 학습 동안 LMs가 어떤 게놈 특성을 학습하는지와 임베딩이 다운스트림 과제에 어떻게 기여하는지에 대한 통찰을 제공한다.

제안 방법

• 인간 게놈에 정의된 길이가 서로 다른 7개의 생물학적으로 의미 있는 다운스트림 과제를 큐레이션한다.
• 모든 과제에 대해 공개된 자체지도 학습 DNA LMs 여섯 가지와 간단한 베이스라인(AWD-LSTM, dilated CNN)을 벤치마크한다.
• 고정된 LM 임베딩 위에 경량화된 다운스트림 CNN을 연결하여 과제별 예측을 수행한다; 변이 효과의 경우 임베딩 공간에서 제로샷 코사인 유사도를 사용한다.
• 염색체 전체 보유를 이용한 데이터 분할을 제공한다(유전자 발견의 경우 서열 동일성 분할이 권장된다).
• 임베딩 준비와 경량 분류기 학습을 위한 적응 가능한 벤치마킹 프레임워크를 제공하고, 과제별 지도학습 베이스라인과 비교한다.

Figure 1: The organization of eukaryotic genomic DNA. The numbers are indicative examples for the human genome. Genes are structured as alternating introns (average: 5,400 bp) and exons (average: 170 bp), and have a promoter regulatory element before their transcription start site. Enhancer regulato

실험 결과

연구 질문

• RQ1 현행 DNA LMs가 다운스트림 주석 태스크에 필요한 장거리 게놈 맥락을 포착할 수 있는가?
• RQ2 다른 사전 학습 목표와 토크나이제이션 전략이 LMs가 학습하는 게놈 특성에 어떤 영향을 미치는가?
• RQ3 LM 임베딩이 다양한 게놈 과제에서 과제별 특화 베이스라인에 대해 일관된 향상을 제공하는가?
• RQ4 LM 기반 표현이 희소 신호와 장거리 의존성을 가진 과제(예: 엑세너 주석)에 어느 정도까지 도움을 주는가?

주요 결과

• DNA LMs는 일부 과제에서 유망한 성능을 보이고 전문가 방법에 근접할 수 있지만, 어떤 LM도 과제별로 모든 베이스라인을 일관되게 능가하지는 않는다.
• 장거리 추론은 여전히 도전적이며, 특히 희소하고 멀리 떨어진 규제 요소인 enhancer와 같은 경우에서 그렇다.
• 다른 LMs의 임베딩은 서로 다른 게놈 특성을 학습한다; 일부는 유전자 구조 정보를 포착하고, 다른 일부는 비암호화 영역에 초점을 맞춘다.
• NT-MS가 강력한 기본 LM으로 부각되지만, 더 짧고 작은 모델들(예: DNABERT)은 특정 과제에서 이를 능가할 수 있다.
• LM 임베딩은 간단한 다운스트림 CNN과 함께 사용할 때 기능 게놈학 데이터를 모델링하는 데 있어 과제별 지도 방식에 비해 성능이 떨어지는 경우가 많다.
• 유전자 발견은 간단한 CNN과의 결합으로 LM 임베딩의 이점을 얻으며 특수화된 AUGUSTUS 성능에 근접하지만 능가하지는 못한다; enhancer 주석은 여전히 어렵다.

Figure A1: Length distribution of samples in the gene finding dataset.