[논문 리뷰] Unsupervised Representation Learning of DNA Sequences

Vishal Agarwal, Nishant Reddy외 1명|arXiv (Cornell University)|2019. 06. 07.

Genomics and Phylogenetic Studies참고 문헌 12인용 수 4

한 줄 요약

이 논문은 장기이고 길이가 변하는 DNA 서열의 고정 길이 잠재 표현을 학습하기 위해 양방향 및 단방향 LSTM을 사용하는 비지도 시퀀스-투-시퀀스 오토에인코드어를 제안한다. 이 방법은 사전 훈련된 가중치를 사용할 경우 스플라이스 사이트 분류에서 최신 기술 수준의 성능을 달성하며, 모델 기여도 분석을 통해 기존의 생물학적 모티프인 GT 및 AG 스플라이스 신호를 반영한 학습된 표현을 확인할 수 있다.

ABSTRACT

Recently several deep learning models have been used for DNA sequence based classification tasks. Often such tasks require long and variable length DNA sequences in the input. In this work, we use a sequence-to-sequence autoencoder model to learn a latent representation of a fixed dimension for long and variable length DNA sequences in an unsupervised manner. We evaluate both quantitatively and qualitatively the learned latent representation for a supervised task of splice site classification. The quantitative evaluation is done under two different settings. Our experiments show that these representations can be used as features or priors in closely related tasks such as splice site classification. Further, in our qualitative analysis, we use a model attribution technique Integrated Gradients to infer significant sequence signatures influencing the classification accuracy. We show the identified splice signatures resemble well with the existing knowledge.

연구 동기 및 목표

• 장기적이며 길이가 변하는 DNA 서열에 대해 고정 길이의 일반 목적 표현을 비지도 방식으로 학습하는 것.
• 학습된 표현이 스플라이스 사이트 분류와 같은 후속 게놈 작업에 효과적인 특징 또는 사전 지식으로 기능할 수 있는지 평가하는 것.
• 모델 기여도 기법을 사용하여 학습된 표현의 생물학적 관련성을 검증하는 것.
• 비지도 사전 훈련이 감독 분류 작업의 수렴과 성능 향상에 기여하는지 보여주는 것.

제안 방법

• 길이가 변하는 DNA 서열을 고정된 256차원 잠재 임베딩으로 매핑하기 위해 양방향 LSTM 인코더와 단방향 LSTM 디코더를 갖춘 시퀀스-투-시퀀스 오토에인코드어를 사용한다.
• 모델은 잠재 임베딩에서 원래 입력 시퀀스를 재구성하도록 훈련되어, 표현이 필수적인 시퀀스 모티프와 의존성을 포착하도록 유도된다.
• 사전 훈련된 인코더 가중치는 분류기의 초기화에 사용되며, 학습된 잠재 임베딩은 SVM, ANN 및 일반적인 RNN 분류기의 입력 특징으로 사용된다.
• 통합 기울기(Intergrated Gradients)를 적용하여 예측 점수를 입력 뉴클레오티드에 기여도를 할당하고, 스플라이스 사이트 분류에 영향을 주는 영역과 모티프를 식별한다.
• 통합 기울기의 기준으로 0 임베딩을 사용하며, 기준에서 입력으로의 경로를 200단계로 나누어 기울기 누적을 수행한다.
• 기여도 점수에서 시퀀스 로고를 생성하여 GT(기부자) 및 AG(수용자) 신호와 같은 보존된 모티프를 시각화한다.

실험 결과

연구 질문

• RQ1 비지도 오토에인코드어는 장기적이며 길이가 변하는 DNA 서열에 대해 의미 있는 고정 길이 표현을 학습할 수 있는가?
• RQ2 학습된 잠재 표현은 스플라이스 사이트 분류와 같은 후속 감독 학습 작업에서 성능 향상에 기여하는가?
• RQ3 표현은 생물학적으로 해석 가능하며, GT-AG 신호와 같은 알려진 스플라이싱 모티프를 포착하는가?
• RQ4 통합 기울기와 같은 모델 기여도 기법을 통해 학습된 표현을 바탕으로 기능적으로 중요한 DNA 서열 영역을 식별할 수 있는가?

주요 결과

• 사전 훈련된 인코더 가중치를 사용하여 분류기를 초기화했을 때 오토에인코드어는 스플라이스 사이트 분류에서 테스트 정확도 99.07%를 달성했다.
• 학습된 256차원 잠재 임베딩을 입력으로 사용했을 때 단순한 SVM이 98.63%의 정확도를 기록하여 임베딩의 표현 품질을 입증했다.
• 통합 기울기 기여도 분석 결과, 스플라이스 사이트 근처의 뉴클레오티드(특히 기부자에서의 GT 및 수용자에서의 AG)가 예측에 가장 큰 영향을 미쳤으며, 이는 알려진 생물학적 메커니즘과 일치했다.
• 기여도 점수에서 생성된 시퀀스 로고는 명백하게 캐논컬한 GT 및 AG 모티프를 강조하여 모델이 알려진 생물학적 신호를 학습할 수 있음을 확인했다.
• 사전 훈련된 가중치의 사용은 다양한 분류기 아키텍처(SVM, ANN, RNN)에서 수렴 속도 향상과 정확도 향상을 이끌어냈다.
• 정성적 분석 결과, 모델은 생물학적으로 관련된 영역을 올바르게 식별했으며, 기부자에서 뉴클레오티드 G가 매우 영향력 있는 것으로 나타나 기존 지식과 일치했다.