[논문 리뷰] Protein Secondary Structure Prediction Using Cascaded Convolutional and Recurrent Neural Networks

Zhen Li, Yizhou Yu|arXiv (Cornell University)|2016. 04. 25.

Machine Learning in Bioinformatics참고 문헌 33인용 수 105

한 줄 요약

이 논문은 로컬 컨텍스트를 위해 다중스케일 CNN을, 전역 컨텍스트를 위해 스택된 양방향 GRU를 결합한 엔드-투-엔드 딥 네트워크(DCRNN)를 제시하여 8-state 단백질 2차 구조와 용매 접촉성을 예측하고, CB6133, CB513, CASP10, CASP11 데이터셋에서 최첨단 성능을 달성한다.

ABSTRACT

Protein secondary structure prediction is an important problem in bioinformatics. Inspired by the recent successes of deep neural networks, in this paper, we propose an end-to-end deep network that predicts protein secondary structures from integrated local and global contextual features. Our deep architecture leverages convolutional neural networks with different kernel sizes to extract multiscale local contextual features. In addition, considering long-range dependencies existing in amino acid sequences, we set up a bidirectional neural network consisting of gated recurrent unit to capture global contextual features. Furthermore, multi-task learning is utilized to predict secondary structure labels and amino-acid solvent accessibility simultaneously. Our proposed deep network demonstrates its effectiveness by achieving state-of-the-art performance, i.e., 69.7% Q8 accuracy on the public benchmark CB513, 76.9% Q8 accuracy on CASP10 and 73.1% Q8 accuracy on CASP11. Our model and results are publicly available.

연구 동기 및 목표

• 딥러닝을 사용해 로컬 및 글로벌 시퀀스 컨텍스트를 통합하여 단백질 2차 구조 예측에 대한 동기 부여 및 해결책을 제시한다.
• 다중 창 크기에서 로컬 컨텍스트 특성을 포착하기 위해 다중스케일 CNN을 활용한다.
• 단백질 서열의 길 긴 의존성을 모델링하기 위해 스택형 양방향 GRU를 활용한다.
• 8차 상태 구조와 4차 상태 용매 접근성을 공동 예측하기 위한 다중 작업 학습을 수행한다.
• 공개 벤치마크 CB6133, CB513, CASP10, CASP11에서 최첨단 성능을 입증한다.]
• method1, 2, 3, 4, 5, 6

제안 방법

• 임베딩 계층을 통해 희소한 아미노산 시퀀스 특징을 밀집 표현으로 임베딩한다.
• 임베딩한 시퀀스 특징을 PSI-BLAST으로부터 유도된 프로필 특징과 연결한다.
• 커널 크기 3, 7, 11로 다중 스케일 CNN을 적용하여 로컬 컨텍스트를 추출한다(각각 64 채널).
• 연결된 로컬 컨텍스트를 드롭아웃이 적용된 3개의 스택형 양방향 GRU 층(각각 600 은닉 유닛)으로 입력한다.
• CNN과 BGRU의 출력을 연결하고 ReLU 활성화를 갖는 두 개의 완전 연결 층을 통과시킨다.
• 8-state 2차 구조와 4-state 용매 접근성을 예측하기 위한 다중 작업 손실로 학습하며, L2 정규화와 드롭아웃을 사용한다; Adam 옵티마이저와 견고성을 위한 10모델의 배깅 앙상블을 활용한다.]
• research_questions:[
• 엔드투엔드 딥 아키텍처가 로컬 및 글로벌 맥락 특징을 효과적으로 통합하여 8-state 2차 구조 예측을 개선할 수 있는가?
• 다중 스케일 CNN과 스택형 양방향 GRU의 조합이 표준 벤치마크에서 기존 방법들을 능가하는가?
• 2차 구조와 용매 접근성에 대한 다중 작업 학습이 추가적인 정확도 향상을 가져오는가?
• 이 모델은 CB6133, CB513, CASP10, CASP11 데이터셋에서 일반화 능력이 어떤가?]
• key_findings:[

실험 결과

연구 질문

• RQ1 엔드투엔드 딥 아키텍처가 로컬 및 글로벌 맥락 특징을Effectively integrate?

주요 결과

• CB6133 학습에서 단일 모델은 Q8 정확도 73.2%(최첨단)와 테스트 세트에서 용매 접근성 76.1%를 달성한다.
• 앙상블(10개 모델 배깅)은 CB513에서 Q8을 69.7%로 올리고 유의한 p-value를 보이며 기존 방법들을 능가한다.
• CB513에서 단일 모델은 Q8 정확도 69.4%에 도달하여 DeepCNF 및 다른 기준들을 능가하고; 앙상블은 견고성을 향상시킨다.
• CASP10에서 76.9% Q8 및 CASP11에서 73.1% Q8를 달성; 각각 87.8% 및 85.3% Q3 (단일 모델).
• 결손 분석은 스택형 BGRU와 로컬 및 글로벌 컨텍스트의 통합이 성능에 결정적임을 보여준다; 임베딩 제거, 다중 스케일 CNN, 역방향 패스 제거, 또는 일반 RNN 사용은 성능을 저하시킨다.
• 모델은 강력한 일반화를 보여주며 다양한 벤치마크에서 다수의 기존 방법들을 능가한다.