[논문 리뷰] Protein secondary structure prediction using deep convolutional neural fields

Sheng Wang, Jian Peng외 2명|arXiv (Cornell University)|2015. 12. 02.

Protein Structure and Dynamics참고 문헌 79인용 수 41

한 줄 요약

이 논문은 단백질 이차 구조 예측 성능을 향상시키기 위해 조건부 임의 필드(Conditional Random Fields)와 깊이 있는 계층적 신경망을 통합한 딥 컨volution 신경 필드 모델인 DeepCNF를 소개한다. 복잡한 서열-구조 관계와 레이블 의존성을 모델링함으로써 DeepCNF는 CASP 및 CAMEO 벤치마크에서 Q3 정확도 84%, SOV 85%, Q8 정확도 72%를 달성하여, 10년 이상 80% Q3 정확도에 머물러 있던 이전 방법들에 비해 뚜렷한 향상을 이룬다.

ABSTRACT

Protein secondary structure (SS) prediction is important for studying protein structure and function. When only the sequence (profile) information is used as input feature, currently the best predictors can obtain ~80% Q3 accuracy, which has not been improved in the past decade. Here we present DeepCNF (Deep Convolutional Neural Fields) for protein SS prediction. DeepCNF is a Deep Learning extension of Conditional Neural Fields (CNF), which is an integration of Conditional Random Fields (CRF) and shallow neural networks. DeepCNF can model not only complex sequence-structure relationship by a deep hierarchical architecture, but also interdependency between adjacent SS labels, so it is much more powerful than CNF. Experimental results show that DeepCNF can obtain ~84% Q3 accuracy, ~85% SOV score, and ~72% Q8 accuracy, respectively, on the CASP and CAMEO test proteins, greatly outperforming currently popular predictors. As a general framework, DeepCNF can be used to predict other protein structure properties such as contact number, disorder regions, and solvent accessibility.

연구 동기 및 목표

• 최근 서열 기반 방법의 발전에도 불구하고 10년 이상 80% Q3 정확도에 머물러 있던 단백질 이차 구조 예측 정확도의 정체를 극복하기 위해.
• 얕은 모델보다 더 효과적으로 계층적이고 비선형적인 서열-구조 관계를 포착할 수 있는 딥 러닝 아키텍처를 개발하기 위해.
• 접한 이차 구조 레이블 간의 상호의존성을 명시적으로 모델링하여 국소적 일致성과 예측 신뢰도를 향상시키기 위해.
• 이차 구조 예측을 넘어서 솔vation 접근성 및 비정형 영역과 같은 다른 단백질 구조적 특성 예측에 적용 가능한 일반화된 딥 러닝 아키텍처를 만들기 위해.

제안 방법

• DeepCNF는 얕은 신경망을 깊이 있는 컨volution 신경망으로 대체하여 계층적이고 맥락 인식 가능한 서열 표현을 학습하는 조건부 신경 필드(CNF)를 확장한다.
• 모델은 단백질 서열 프로파일에서 다중 수준의 특징을 추출하기 위해 깊이 있는 잔차 신경망 아키텍처를 사용하여 장거리 의존성과 복잡한 패턴을 포착한다.
• 레이블 시퀀스 의존성을 모델링하기 위해 상단에 조건부 임의 필드(CRF)를 통합하여 인접 잔기 간 일관된 예측을 보장한다.
• 전체 아키텍처는 역전파를 사용한 엔드 투 엔드 학습이 가능하며, 확률적 경사 하강법으로 최적화된 로그우도 손실 함수를 사용한다.
• 주의 메커니즘은 명시적으로 사용되지 않았지만, 깊이 있는 컨볼루션 레이어가 계층적 특징 학습을 통해 관련 서열 패턴에 집중하는 것을 암묵적으로 학습한다.
• 이 프레임워크는 확장 가능하도록 설계되어 출력 레이어와 손실 함수를 수정함으로써 다른 단백질 구조적 특성 예측 작업에의 적용이 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 얕은 모델보다 더 깊은 신경망 아키텍처가 이전 방법에서 관찰된 약 80% Q3 정확도 한계를 넘어서 단백질 이차 구조 예측 성능을 향상시킬 수 있는가?
• RQ2 깊이 있는 컨볼루션 신경 필드 모델이 계층적 서열 특징과 국소적 레이블 의존성을 동시에 효과적으로 포착할 수 있는가?
• RQ3 딥 러닝과 CRF 기반 시퀀스 모델링을 통합함으로써 벤치마크 데이터셋에서 예측 정확도와 강건성에 측정 가능한 향상이 이루어지는가?
• RQ4 제안된 프레임워크는 이차 구조 예측을 넘어서 다른 단백질 구조적 특성 예측에 일반화될 수 있는가?
• RQ5 DeepCNF의 성능는 CASP 및 CAMEO와 같은 독립 테스트 세트에서 최신 기술 대비 어떻게 비교되는가?

주요 결과

• DeepCNF는 CASP 및 CAMEO 테스트 세트에서 84% Q3 정확도를 달성하여 이전 방법의 약 80% Q3 정확도 한계를 뚜렷이 초월한다.
• 모델은 연속된 이차 구조 세그먼트를 예측하는 데 있어 85% SOV(Segment Overlap Value)를 기록하여 뛰어난 성능을 보였다.
• 72% Q8 정확도를 달성하여 여덟 개의 이차 구조 상태를 더 정밀하게 구분할 수 있음을 보여주었다.
• 성능 향상 요인은 신경 CRF 아키텍처를 통한 깊이 있는 계층적 특징과 레이블 시퀀스 의존성의 동시 모델링에 기인한다.
• 프레임워크는 잘 일반화되어 있어, 솔vation 접근성 및 비정형 영역과 같은 다른 단백질 구조적 특성 예측 작업에의 적용 잠재력이 높다.
• 결과는 엔드 투 엔드로 훈련된 깊이 있는 컨볼루션 신경 필드가 이전 최고 수준의 모델들에 비해 향상된 표현 학습과 구조 일관성을 가능하게 한다고 확인한다.