[논문 리뷰] DNA-Level Splice Junction Prediction using Deep Recurrent Neural Networks

Byunghan Lee, Taehoon Lee외 2명|arXiv (Cornell University)|2015. 12. 16.

RNA Research and Splicing참고 문헌 28인용 수 43

한 줄 요약

이 논문은 학습된 밀도 높은 뉴클레오티드 임베딩과 LSTM, GRU, iRNN와 같은 아키텍처를 사용하여 시퀀스적 DNA 패턴을 모델링하는 딥 순환 신경망(RNN) 기반의 DNA 수준 스플라이스 조인션 예측 방법을 제안한다. 이 방법은 스플라이스 조인션 분류에서 94.3%의 F1 스코어를 달성하여 SVM 및 딥 베이지안 네트워크(DBN) 기반의 베이스라인을 크게 능가하며, 정규 및 비정규 스플라이스 사이트 모두를 탐지하는 데 뛰어난 정확도를 보여준다.

ABSTRACT

A eukaryotic gene consists of multiple exons (protein coding regions) and introns (non-coding regions), and a splice junction refers to the boundary between a pair of exon and intron. Precise identification of spice junctions on a gene is important for deciphering its primary structure, function, and interaction. Experimental techniques for determining exon/intron boundaries include RNA-seq, which is often accompanied by computational approaches. Canonical splicing signals are known, but computational junction prediction still remains challenging because of a large number of false positives and other complications. In this paper, we exploit deep recurrent neural networks (RNNs) to model DNA sequences and to detect splice junctions thereon. We test various RNN units and architectures including long short-term memory units, gated recurrent units, and recently proposed iRNN for in-depth design space exploration. According to our experimental results, the proposed approach significantly outperforms not only conventional machine learning-based methods but also a recent state-of-the-art deep belief network-based technique in terms of prediction accuracy.

연구 동기 및 목표

• 유전자의 스플라이스 조인션 예측 정확도를 향상시키고, 기존 방법에서 자주 간과되는 비정규 스플라이스 신호에 특히 초점을 맞춘다.
• 스플라이스 사이트 주변의 순차적 DNA 패턴을 모델링하는 데 있어 딥 순환 신경망(RNN)의 효과성을 탐구한다.
• 학습 중에 밀도 높은 분포형 뉴클레오티드 임베딩을 학습하여 one-hot 인코딩과 희박한 벡터 표현 방식의 한계를 극복한다.
• LSTM, GRU, iRNN와 같은 다양한 RNN 유닛이 스플라이스 조인션 탐지 작업에서 어떻게 성능을 발휘하는지 평가하고 비교한다.
• 정렬 기반 RNA-seq 방법을 보완할 수 있는 딥 러닝 프레임워크를 구축한다. 이는 미세한 비정규 스플라이싱 신호를 탐지하는 데 기여한다.

제안 방법

• 뉴클레오티드당 4차원의 학습된 밀도 높은 벡터로 DNA 시퀀스를 인코딩하여 one-hot 인코딩 대신 표현 학습과 일반화 능력을 향상시킨다.
• 스택된 RNN 레이어와 LSTM, GRU 또는 iRNN 유닛을 사용하여 스플라이스 조인션 주변의 DNA 시퀀스에서 장거리 의존성을 포착한다.
• 최종 RNN 레이어는 완전 연결층과 시그모이드 활성화 함수를 통해 3개 클래스(도우너, 어세서, 비사이트) 예측을 출력한다.
• 드롭아웃을 정규화로 사용하여 Adam 최적화 기법을 사용해 다중 클래스 로그 손실 함수로 네트워크를 훈련시킨다.
• 입력 시퀀스 길이는 스플라이스 조인션의 엑손 경계 중심으로 60개 뉴클레오티드로 고정되어 있으며, 도우너, 어세서, 비사이트 클래스의 훈련 예제를 생성한다.
• 모델은 정규 및 비정규 스플라이스 사이트를 포함한 UCSC-hg38 및 UCSC-hg19 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 딥 순환 신경망은 DNA 시퀀스에서 정규 및 비정규 스플라이스 조인션 신호를 효과적으로 학습하고 탐지할 수 있는가?
• RQ2 LSTM, GRU, iRNN와 같은 다양한 RNN 유닛은 스플라이스 조인션 예측에서 어떻게 성능을 비교하는가?
• RQ3 이러한 맥락에서 one-hot 인코딩 대비 학습된 밀도 높은 뉴클레오티드 임베딩이 예측 정확도 향상에 기여하는가?
• RQ4 RNN 기반 모델은 스플라이스 조인션 탐지에서 SVM 및 딥 베이지안 네트워크 같은 전통적 기계학습 방법을 능가할 수 있는가?
• RQ5 아키텍처의 깊이(예: 스택된 레이어)는 성능 향상에 기여하는가? 그리고 성능 향상의 감소 현상이 발생하는가?

주요 결과

• 제안된 RNN 기반 방법은 LSTM 유닛을 사용하여 테스트 F1 스코어 94.3%를 기록했으며, 이는 다음으로 성능이 좋은 딥 베이지안 네트워크(DBN)의 88.8%를 크게 뛰어넘었다.
• LSTM 기반 아키텍처가 가장 높은 성능을 보였고, 이는 GRU(92.63%)와 iRNN(92.10%)의 순서를 따르며, 테스트된 깊이를 초월해 더 깊은 네트워크에서 성능 향상이 없었다.
• iRNN 모델은 초기 수렴 속도가 빠르지만, 후속 훈련 에포크에서 불안정성과 성능 저하를 겪었다.
• 학습된 밀도 높은 임베딩 사용이 one-hot 인코딩 대비 일반화 능력을 향상시켰으며, 후자는 희박하고 효과가 떨어지는 표현 방식임이 확인되었다.
• 모델은 UCSC-hg38 및 UCSC-hg19 데이터셋 모두에서 비정규 스플라이스 신호를 포함한 시퀀스에서 뛰어난 안정성과 성능을 보였다.
• 최신 기술 기반의 DBN 기반 방법 대비 정확도에서 6.19%p 향상된 성과를 기록하여, 이 방법이 스플라이스 조인션 탐지에서 뛰어난 우월성을 보여주었다.