[논문 리뷰] To Transformers and Beyond: Large Language Models for the Genome

Micaela Elisa Consens, C Dufault외 7명|arXiv (Cornell University)|2023. 11. 13.

Genomics and Phylogenetic Studies인용 수 31

한 줄 요약

이 리뷰는 유전체 모델링을 위한 트랜스포머 기반 LLM 및 관련 아키텍처를 조사하며, 유전체학의 아키텍처, 사전 학습, 미세 조정, 향후 방향에 대해 상세히 설명한다.

ABSTRACT

In the rapidly evolving landscape of genomics, deep learning has emerged as a useful tool for tackling complex computational challenges. This review focuses on the transformative role of Large Language Models (LLMs), which are mostly based on the transformer architecture, in genomics. Building on the foundation of traditional convolutional neural networks and recurrent neural networks, we explore both the strengths and limitations of transformers and other LLMs for genomics. Additionally, we contemplate the future of genomic modeling beyond the transformer architecture based on current trends in research. The paper aims to serve as a guide for computational biologists and computer scientists interested in LLMs for genomic data. We hope the paper can also serve as an educational introduction and discussion for biologists to a fundamental shift in how we will be analyzing genomic data in the future.

연구 동기 및 목표

• 트랜스포머 아키텍처와 LLM이 유전체학에서 차지하는 역할과 영향력을 조사하고, 트랜스포머 기반 접근법과 전통적인 CNN/RNN 모델을 비교합니다.
• 주요 아키텍처 구성요소(주의집중, multi-head attention, add-and-norm, skip-connections)와 이를 유전체 데이터에 어떻게 적용하는지 설명합니다.
• 사전 학습 및 미세 조정 체계를 논의하고, MLM과 ALM을 포함한 시사점과 데이터 효율성 및 작업 성능에 미치는 영향을 설명합니다.
• 현재의 한계, 신생 아키텍처들(예: Hyena, HyenaDNA) 및 트랜스포머 패러다임을 넘어선 향후 방향을 강조합니다.

제안 방법

• 트랜스포머의 기본 원리와 이를 유전체학에 적용하는 방법을 설명하고, 토크나이즈 전략(예: 시퀀스의 k-mer, 비연속 데이터의 유전자 ID)을 포함합니다.
• 유전체학에 사용되는 트랜스포머 변형들(인코더-디코더, 인코더 전용, 디코더 전용)과 일반적인 사전 학습 목표(MLM, ALM)을 검토합니다.
• CNN 유사 구성 요소와 트랜스포머 블록을 결합한 하이브리드 모델이 유전체 실험 예측에 어떻게 사용되는지 설명합니다.
• 맥락 길이와 효율성 문제를 해결하기 위해 제안된 대안 아키텍처들(예: HyenaDNA)을 소개합니다.
• 비지도/지도/반지도 학습 사전 학습을 거친 후 작업별 미세 조정을 포함하는 학습 파이프라인을 요약합니다.

실험 결과

연구 질문

• RQ1 유전체 데이터 모델링을 위한 트랜스포머 기반 LLM의 강점과 한계는 무엇인가요?
• RQ2 규제 주석, 발현 예측, 어세이 데이터 모델링과 같은 유전체 작업에서 서로 다른 트랜스포머 변형(인코더 전용, 디코더 전용, 인코더-디코더)은 어떻게 비교되나요?
• RQ3 유전체학에서 최고의 일반화와 데이터 효율성을 제공하는 사전 학습 및 미세 조정 전략은 무엇인가요?
• RQ4 장기적 맥락과 확장성에 이점을 제공하는 비 트랜스포머 또는 차세대 아키텍처(예: Hyena, HyenaDNA)는 무엇인가요?

주요 결과

• 트랜스포머는 어텐션을 통해 길이가 긴 유전체 상호작용을 모델링할 수 있게 하며, 종종 풍부한 비정답 데이터(무라벨 데이터)를 활용하기 위한 사전 학습이 보강됩니다.
• 인코더 전용(BERT 유사) 모델은 임베딩 기반 분류 작업에 탁월하고, 디코더 전용(GPT 유사) 모델은 시퀀스 생성 및 단방향 작업에 적합합니다; 두 가지 모두 유전체학에서 도메인 특화 적응이 나타났습니다.
• 사전 학습(특히 비지도 MLM 또는 ALM) 후 작업별 미세 조정이 여전히 유전체학의 데이터 효율성을 위한 핵심 패러다임입니다.
• Hyena와 HyenaDNA는 긴 컨텍스트의 유전체 데이터에 대한 전통적 어텐션의 확장 가능한 대안을 제시하며, 컨텍스트 길이 및 효율성 문제를 다룹니다.
• 컨볼루션 구성 요소를 어텐션과 통합한 트랜스포머 하이브리드 설계는 입력으로부터 어세이 수준의 결과를 예측할 수 있습니다(정량적 또는 이진).
• 인코더-디코더 아키텍처는 서로 다른 길이의 입력과 출력 간 매핑을 예측할 수 있으며(예: DNA 시퀀스에서 3D 접촉 맵으로), 순수 CNN 인코더에 비해 유연성을 제공합니다.