[논문 리뷰] Attention based convolutional neural network for predicting RNA-protein binding sites

Xiaoyong Pan, Junchi Yan|arXiv (Cornell University)|2017. 12. 06.

RNA and protein synthesis mechanismsBiochemistry, Genetics and Molecular Biology참고 문헌 2인용 수 20

한 줄 요약

이 논문은 원시 RNA 서열을 사용하여 RNA-단백질 결합 부위를 예측하는 주의 메커니즘 기반의 컨volutional 신경망인 iDeepA를 제안한다. 1D-CNN와 이중 수준의 주의 메커니즘(시퀀스 및 특징 맵 차원)을 통합함으로써 특징 학습과 모티프 국소화를 향상시켜 CLIP-seq 기준 데이터에서 SOTA AUC 0.921을 달성하였으며, 소규모 데이터셋에서 뚜렷한 향상이 있었다.

ABSTRACT

RNA-binding proteins (RBPs) play crucial roles in many biological processes, e.g. gene regulation. Computational identification of RBP binding sites on RNAs are urgently needed. In particular, RBPs bind to RNAs by recognizing sequence motifs. Thus, fast locating those motifs on RNA sequences is crucial and time-efficient for determining whether the RNAs interact with the RBPs or not. In this study, we present an attention based convolutional neural network, iDeepA, to predict RNA-protein binding sites from raw RNA sequences. We first encode RNA sequences into one-hot encoding. Next, we design a deep learning model with a convolutional neural network (CNN) and an attention mechanism, which automatically search for important positions, e.g. binding motifs, to learn discriminant high-level features for predicting RBP binding sites. We evaluate iDeepA on publicly gold-standard RBP binding sites derived from CLIP-seq data. The results demonstrate iDeepA achieves comparable performance with other state-of-the-art methods.

연구 동기 및 목표

• 원시 RNA 서열에서 RNA-단백질 결합 부위를 정확하게 예측할 수 있는 딥러닝 모델을 개발하는 것.
• 생물학적으로 관련성이 있는 시퀀스 모티프에 집중하기 위해 주의 메커니즘을 통합하여 모델의 해석 가능성과 성능을 향상시키는 것.
• 기존 방법이 소규모 학습 데이터셋에서 겪는 한계를 주의를 통해 특징 학습을 강화함으로써 극복하는 것.
• 24개의 RBP에 대해 대규모 금표준 CLIP-seq 데이터셋에서 모델을 평가하는 것.

제안 방법

• RNA 서열이 아데닌(A), 시토신(C), 구아닌(G), 우라실(U)의 존재를 나타내는 one-hot 행렬로 인코딩된다.
• 1D-CNN가 one-hot 행렬을 처리하며, 컨볼루션, ReLU 활성화 함수, 최대 풀링을 적용하여 계층적 특징을 추출한다.
• 두 가지 주의 메커니즘이 적용된다: 한쪽은 시퀀스 차원(시간 단계 기반)에서, 다른 한쪽은 특징 맵 차원(역행된 은닉 상태를 통한)에서이다.
• 주의 가중치는 피드포워드 네트워크를 통해 계산되며, 부드러운 주의 점수를 생성한다. 여기서 $ \alpha_t = \frac{\exp(e_t)}{\sum_i \exp(e_i)} $이며, 컨텍스트 벡터는 $ O = \sum_t h_t \alpha_t $로 정의된다.
• CNN의 출력과 두 주의 레이어의 출력이 연결되어, 이중 완전 연결 레이어(시그모이드 활성화 함수 사용)를 거쳐 이진 분류를 수행한다.
• 모델 학습은 30 에포크 동안 RMSProp 옵timizer를 사용한 분류 교차 엔트로피 손실 함수를 기반으로 수행된다.

실험 결과

연구 질문

• RQ1 표준 CNN에 비해 주의 메커니즘이 강화된 CNN이 생물학적으로 관련성이 있는 RNA-단백질 결합 모티프를 더 잘 식별할 수 있는가?
• RQ2 주의 메커니즘이 학습 데이터가 제한된 RBP에서 성능 향상에 기여하는가?
• RQ3 다양한 RBP에 대해 iDeepA가 DeepBind 및 GraphProt와 같은 최신 기법들에 비해 AUC 측면에서 어떻게 비교되는가?
• RQ4 주의 메커니즘이 기능적으로 중요한 RNA 서열 부분을 국소화하여 모델의 해석 가능성에 기여하는가?

주요 결과

• iDeepA는 24개의 RBP 실험 평균 AUC가 0.921로, DeepBind와 동일한 성능을 보이며 GraphProt(0.887)와 deepnet-rbp(0.902)를 능가한다.
• 학습 샘플 수가 4,000개에 불과한 RBP C17ORF85에 대해 iDeepA는 AUC 0.839를 달성하여 DeepBind의 0.755보다 11% 향상된 성능을 보였다.
• 주의 메커니즘이 소규모 데이터셋에서 학습 효율성을 향상시켜, 더 나은 일반화와 핵심 모티프에의 집중을 시사한다.
• MILCNN는 고정 길이의 부분 서열으로 서열을 분할함으로써 결합 부위가 손상될 수 있어 성능이 열 劣하다.
• 최신 기법들과 비교해 유사한 성능을 보이며, 다양한 RBP 데이터셋에서의 강건성과 확장성 잠재력을 보여준다.