[논문 리뷰] GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models

Zicheng Liu, Jiahui Li외 6명|arXiv (Cornell University)|2024. 06. 01.

Cancer Genomics and Diagnostics인용 수 4

한 줄 요약

GenBench는 번역 영역, 비번역 영역, 게놈 구조 작업을 포함한 단기 및 장기 유전자 작업 전반에서 유전자 기초 모델(GFMs)을 체계적으로 평가하기 위해 설계된 종합적이고 모듈식인 벤치마킹 세트이다. 이는 주로 주의 기반 모델이 단기 작업에서 컨볼루션 기반 모델보다 뛰어난 성능을 보이며, 장기 작업에서는 성능 격차가 좁아짐을 시사하며, 하이브리드 아키텍처가 효율성과 표현 능력의 최적화에 기여할 수 있음을 드러낸다.

ABSTRACT

The Genomic Foundation Model (GFM) paradigm is expected to facilitate the extraction of generalizable representations from massive genomic data, thereby enabling their application across a spectrum of downstream applications. Despite advancements, a lack of evaluation framework makes it difficult to ensure equitable assessment due to experimental settings, model intricacy, benchmark datasets, and reproducibility challenges. In the absence of standardization, comparative analyses risk becoming biased and unreliable. To surmount this impasse, we introduce GenBench, a comprehensive benchmarking suite specifically tailored for evaluating the efficacy of Genomic Foundation Models. GenBench offers a modular and expandable framework that encapsulates a variety of state-of-the-art methodologies. Through systematic evaluations of datasets spanning diverse biological domains with a particular emphasis on both short-range and long-range genomic tasks, firstly including the three most important DNA tasks covering Coding Region, Non-Coding Region, Genome Structure, etc. Moreover, We provide a nuanced analysis of the interplay between model architecture and dataset characteristics on task-specific performance. Our findings reveal an interesting observation: independent of the number of parameters, the discernible difference in preference between the attention-based and convolution-based models on short- and long-range tasks may provide insights into the future design of GFM.

연구 동기 및 목표

• 유전자 기초 모델(GFMs)에 대한 표준화된 평가 프레임워크의 부족으로 인해 데이터셋, 훈련 전략, 모델 복잡도의 이질성이 존재해 공정한 비교가 어려운 문제를 해결하기 위해.
• 다양한 GFM 아키텍처와 다양한 생물학적 척도에서의 현실적인 유전자 작업을 지원하는 통합적이고 모듈적이며 확장 가능한 벤치마킹 플랫폼을 제공하기 위해.
• 특히 주의와 컨볼루션 아키텍처의 영향을 분석하여 단기 및 장기 유전자 작업 전반에서의 성능에 미치는 영향을 조사하기 위해.
• 프로모터 예측, 유전자 클러스터링, 종 분류를 포함한 43개의 다양한 유전자 작업을 포함한 실제 데이터셋을 기반으로 GFMs의 체계적 평가를 가능하게 하기 위해.
• 계산 효율성, 표현 품질, 작업별 성능 분석을 통해 최적의 모델 설계 및 사전 훈련 전략에 대한 통찰을 제공하기 위해.

제안 방법

• GenBench는 번역 영역, 비번역 영역, 게놈 구조 영역의 세 핵심 영역을 포함하는 43개의 실제 유전자 데이터셋을 통합하여 광범위한 생물학적 관련성을 확보한다.
• 표준화된 사전 훈련 및 미세조정 프로토콜을 기반으로, 주의 기반(DNABERT2, Nucleotide Transformer 등) 및 컨볼루션 기반(HyenaDNA, Caduceus 등) 모델을 포함한 10개의 최신 GFMs를 평가한다.
• 데이터 전처리, 토큰화, 평가를 표준화하기 위해 모듈식 코드베이스를 구현하여, 다양한 모델과 작업 간의 공정하고 재현 가능한 비교를 가능하게 한다.
• 작업별 메트릭(AUC, 정확도, F1 점수 등)을 사용하여 모델 성능을 평가하며, t-SNE 시각화를 통해 유전자 클러스터링 및 종 구분을 위한 학습된 임베딩을 분석한다.
• 입력 길이에 따라 변동하는 FLOPS 추정을 통해 계산 효율성을 평가하여 주의 기반 및 컨볼루션 기반 아키텍처의 확장성 비교를 수행한다.
• k-mer 및 BERT 기반 토큰화와 같은 다양한 사전 훈련 전략에 대한 체계적 아블레이션 연구를 지원하여, 최종 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 주의 기반 모델과 컨볼루션 기반 모델은 단기 및 장기 유전자 작업 전반에서 어떻게 성능을 비교할 수 있는가?
• RQ2 입력 시퀀스 길이가 특히 확장된 유전자 맥락을 포함하는 작업에서 모델 성능에 얼마나 큰 영향을 미치는가?
• RQ3 k-mer 및 BERT 기반 토큰화와 같은 다양한 사전 훈련 전략은 유전자 임베딩의 생물학적 해석 가능성과 최종 정확도에 어떤 영향을 미치는가?
• RQ4 모델 아키텍처, 계산 비용(FLOPS), 표현 품질 간의 관계는 유전자 표현 학습에서 어떻게 나타나는가?
• RQ5 주절과 컨볼루션 성분을 조합한 하이브리드 아키텍처는 유전자 기초 모델에서 성능과 효율성을 동시에 향상시킬 수 있는가?

주요 결과

• 주의 기반 모델은 국소적 뉴클레오타이드 의존성을 핵심으로 삼는 프로모터 예측과 같은 단기 작업에서 뛰어난 성능을 기록한다.
• 컨볼루션 기반 모델은 장기 작업에서 주의 기반 모델과 유사한 성능를 보이며, 입력 길이가 길어질수록 성능 격차가 좁아진다.
• Nucleotide Transformer(NT)는 평가된 모델 중에서 가장 높은 종 분류 정확도(0.761)를 기록하여 종 간 구분을 위한 강력한 표현 학습 능력을 보였다.
• HyenaDNA는 주의 기반 아키텍처를 포함하지 않음에도 불구하고 정확도가 낮고(t-SNE 클러스터링이 덜 뚜렷함) 종 수준의 유전자 서열 분리 능력이 떨어지는 것으로 나타났다.
• 계산 비용 분석 결과, 단순한 CNN이 가장 낮은 FLOPS를 기록했으며, 주의 기반 모델은 특히 긴 시퀀스 길이에서 훨씬 더 많은 계산 자원을 요구하는 것으로 나타났다.
• 결과적으로, 컨볼루션의 인덕티브 바이어스와 주의 메커니즘을 조합한 하이브리드 아키텍처는 유전자 모델링에서 성능과 효율성의 최적 균형을 제공할 수 있음을 시사한다.