[논문 리뷰] Multi-modal Self-supervised Pre-training for Regulatory Genome Across Cell Types

Shentong Mo, Xi Fu외 7명|arXiv (Cornell University)|2021. 10. 11.

Genomics and Phylogenetic Studies참고 문헌 31인용 수 14

한 줄 요약

이 논문은 다양한 세포 유형 간에 1차원 DNA 서열과 2차원 전사 인자-영역 상호작용 행렬을 동시에 모델링하는 다중 모odal 자기지도 학습 사전 훈련 프레임워크인 GeneBERT를 제안한다. 마스크된 게놈 모델링, 다음 게놈 세그먼트 예측, 서열-영역 매칭을 활용하여 GeneBERT는 프로모터 분류, 전사 인자 결합 부위 예측, 질병 위험 추정 등에서 최신 기술 수준의 성능을 달성하며, 예측되지 않은 세포 유형으로의 일반화 능력이 향상된다.

ABSTRACT

In the genome biology research, regulatory genome modeling is an important topic for many regulatory downstream tasks, such as promoter classification, transaction factor binding sites prediction. The core problem is to model how regulatory elements interact with each other and its variability across different cell types. However, current deep learning methods often focus on modeling genome sequences of a fixed set of cell types and do not account for the interaction between multiple regulatory elements, making them only perform well on the cell types in the training set and lack the generalizability required in biological applications. In this work, we propose a simple yet effective approach for pre-training genome data in a multi-modal and self-supervised manner, which we call GeneBERT. Specifically, we simultaneously take the 1d sequence of genome data and a 2d matrix of (transcription factors x regions) as the input, where three pre-training tasks are proposed to improve the robustness and generalizability of our model. We pre-train our model on the ATAC-seq dataset with 17 million genome sequences. We evaluate our GeneBERT on regulatory downstream tasks across different cell types, including promoter classification, transaction factor binding sites prediction, disease risk estimation, and splicing sites prediction. Extensive experiments demonstrate the effectiveness of multi-modal and self-supervised pre-training for large-scale regulatory genomics data.

연구 동기 및 목표

• 다양한 세포 유형 간에 규제 게놈에 대한 딥 러닝 모델의 일반화 능력 부족 문제를 해결하기 위해.
• 기존의 감독 학습 및 단일 모달 사전 훈련 방법이 세포 유형 특이적 규제 상호작용을 포착하지 못하는 한계를 극복하기 위해.
• DNA 서열과 전사 인자 결합 데이터를 통합하여 표현 학습을 향상시키는 자기지도 학습, 다중 모달 사전 훈련 프레임워크를 개발하기 위해.
• 다양한 세포 유형에서 프로모터 분류 및 질병 위험 예측과 같은 다양한 규제 작업에 대해 강력한 최종 성능을 달성하기 위해.

제안 방법

• 마스크된 게놈 모델링(마스크된 k-머머스 예측), 다음 게놈 세그먼트 예측(연속된 서열 쌍 분류), 서열-영역 매칭(서열과 규제 영역 정렬)의 세 가지 자기지도 학습 작업을 사용하여 GeneBERT를 사전 훈련한다.
• 1차원 게놈 서열(k-머머스)과 규제 영역를 통해 전사 인자 결합을 분석한 2차원 매트릭스를 다중 모달 입력으로 통합한다.
• 스위프 트랜스포머 백본을 사용하여 2차원 규제 영역 매트릭스를 인코딩함으로써 전사 인자 활동의 공간 패턴에서 효과적인 특징 추출을 가능하게 한다.
• 대부분의 세포 유형에서 1700만 개의 ATAC-seq 서열을 기반으로 엔드 투 엔드로 모델을 훈련하며, 서열-영역 매칭을 통한 대비 학습을 활용한다.
• 마스크된 언어 모델링, 대비 예측, 서열-영역 정렬을 결합한 다중 태스크 손실을 최적화하며, 학습 가능한 초항수 λ를 사용한다.
• 프로모터 분류, 전사 인자 결합 예측, 스플라이싱 부위 탐지와 같은 최종 규제 작업에 대해 사전 훈련된 GeneBERT를 미세 조정한다.

실험 결과

연구 질문

• RQ1 다중 모달 자기지도 사전 훈련이 예측되지 않은 세포 유형 간 규제 게놈 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ2 2차원 규제 영역 데이터(전사 인자 결합 매트릭스)를 통합할 경우, 단순 서열 모델 대비 표현 학습 능력이 어떻게 향상되는가?
• RQ3 다양한 2차원 트랜스포머 아키텍처(ViT, DeiT, Swin 등)가 다중 모달 게놈 표현 학습 성능에 미치는 영향은 무엇인가?
• RQ4 배치 크기 및 손실 가중치(λ)와 같은 하이퍼파rameter가 다중 모달 사전 훈련 목표의 안정성과 성능에 미치는 영향은 어떠한가?
• RQ5 다양한 세포 유형에서 기존의 모델들인 DNABERT와 Enformer에 비해 GeneBERT가 최종 규제 게놈 작업에서 얼마나 뛰어난 성능을 보이는가?

주요 결과

• Swin-B-384 백본을 사용한 GeneBERT는 프로모터 분류에서 최고의 성능을 기록하였으며, 정밀도 82.4%, 재현율 82.6%, AUC 91.9%를 달성하였다.
• 배치 크기를 16에서 512로 증가시킴으로써 AUC가 73.3%에서 90.8%로 향상되어 대비 학습에서 더 많은 음성 샘플의 이점이 있음을 입증하였다.
• 손실 가중치 초항수 λ를 0.5로 설정했을 때, 서열-영역 매칭 작업에서 가장 안정적이고 최적의 성능(90.8% AUC)을 기록하였다.
• 모델의 표현은 세포 유형 클러스터 내에서 상대적으로 더 작은 내부 클러스터 거리(내부 거리)를 보이며, 개선된 세포 유형 특이적 표현 학습이 이루어졌음을 확인하였다.
• 절단 분석 결과, 마스크된 게놈 모델링, 다음 세그먼트 예측, 서열-영역 매칭의 세 가지 사전 훈련 작업 모두 최종 성능 향상에 기여함을 확인하였다.
• 다양한 세포 유형에서 전사 인자 결합 부위 예측, 질병 위험 추정, 스플라이싱 부위 예측 등 평가된 모든 작업에서 GeneBERT가 베이스라인 모델을 압도적으로 뛰어넘었다.