[논문 리뷰] High Quality Prediction of Protein Q8 Secondary Structure by Diverse Neural Network Architectures

Iddo Drori, Isht Dwivedi외 14명|arXiv (Cornell University)|2018. 11. 17.

Protein Structure and Dynamics참고 문헌 28인용 수 25

한 줄 요약

이 논문은 고정밀도 단백질 Q8 이차 구조 예측을 위해 U-Net, 시간적 컨volution 네트워크, 어텐션을 갖춘 이중성 RNN을 포함한 새로운 신경망 아키텍처의 다양성 있는 앙상블을 제시한다. 철저히 정제된 데이터셋과 완전히 재현 가능한 코드 및 모델을 사용하여 CB513 테스트 세트에서 70.7%의 정확도와 CB6133에서 76.3%의 정확도를 달성하며, 최신 기술 수준의 성능을 확보한다.

ABSTRACT

We tackle the problem of protein secondary structure prediction using a common task framework. This lead to the introduction of multiple ideas for neural architectures based on state of the art building blocks, used in this task for the first time. We take a principled machine learning approach, which provides genuine, unbiased performance measures, correcting longstanding errors in the application domain. We focus on the Q8 resolution of secondary structure, an active area for continuously improving methods. We use an ensemble of strong predictors to achieve accuracy of 70.7% (on the CB513 test set using the CB6133filtered training set). These results are statistically indistinguishable from those of the top existing predictors. In the spirit of reproducible research we make our data, models and code available, aiming to set a gold standard for purity of training and testing sets. Such good practices lower entry barriers to this domain and facilitate reproducible, extendable research.

연구 동기 및 목표

• 최신 신경망 아키텍처를 활용하여 Q8 단백질 이차 구조 예측 분야의 최신 기술 수준을 향상시키기.
• 이전 벤치마크에서 오랫동안 지속된 데이터 오염 및 평가 편향 문제를 해결하기 위해 철저히 정제된 동일성 필터링된 훈련 세트를 사용하기.
• 공개된 코드, 데이터 및 모델를 제공함으로써 단백질 구조 예측 분야에서 재현 가능한 연구의 표준을 확립하기.
• U-Net 및 시간적 컨볼루션 네트워크를 포함한 다양한 딥 러닝 아키텍처가 이차 구조 예측 맥락에서 어떻게 기여하는지 평가하기.
• 광범위하게 사용되는 CB6133 벤치마크의 데이터 문제를 수정하고, 분야 내 보다 향상된 벤치마크 관행을 기여하기.

제안 방법

• U-Net의 컨볼루션 블록, 시간적 컨볼루션 네트워크, 어텐션을 갖춘 이중성 RNN을 포함한 6종의 서로 다른 신경망 아키텍처로 구성된 앙상블을 설계하고 훈련하였다.
• 데이터 누출을 방지하고 편향 없는 평가를 보장하기 위해 시퀀스 동일성이 20% 미만인 동일성 필터링된 훈련 세트(CB6133filtered)를 사용하였다.
• 표준화된 공개 벤치마크(CB513)와 업데이트된 CB6133 데이터셋을 사용하여 이전 연구와의 공정한 비교를 수행하였다.
• 특징 표현 및 일반화 능력을 향상시키기 위해 아키텍처 간 다중 작업 학습과 잔차 연결을 적용하였다.
• 편향 없는 성능 측정을 보장하기 위해 별도의 훈련, 검증, 테스트 세트를 포함하는 체계적인 머신 러닝 파이프라인을 구현하였다.
• 어떤 모델에서는 어텐션 메커니즘을 적용하여 관련 있는 시퀀스 및 구조적 패턴에 집중함으로써 장거리 의존성 모델링을 향상시켰다.

실험 결과

연구 질문

• RQ1 다양하고 최신 기술 수준의 신경망 아키텍처가 이전 방법보다 우수한 Q8 이차 구조 예측 정확도를 달성할 수 있는가?
• RQ2 철저히 정제된 훈련 세트(CB6133filtered)의 사용이 표준 벤치마크에서 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 U-Net 및 시간적 컨볼루션 네트워크와 같은 신규 아키텍처가 단백질 이차 구조 예측 정확도 향상에 어느 정도 기여하는가?
• RQ4 이전 연구에서 보고된 성능에 영향을 미치는 데이터 오염 및 잘못된 벤치마크 관행의 영향은 무엇이며, 이를 어떻게 수정할 수 있는가?
• RQ5 공개된 데이터, 모델 및 코드를 포함한 완전한 재현 가능한 연구 워크플로우가 단백질 구조 예측 연구의 신뢰성과 발전에 어떤 영향을 미칠 수 있는가?

주요 결과

• 앙상블 모델은 CB513 테스트 세트에서 70.7%의 Q8 정확도를 달성하였으며, 기존 최상의 예측기들과 통계적으로 유의미한 차이가 없었다.
• 최고의 단일 모델은 CB6133 데이터셋에서 75.4%의 정확도를 기록하였고, 앙상블은 76.3%의 정확도를 달성하여 이전에 발표된 모든 방법을 능가하였다.
• 모델 앙상블은 일반적인 이차 구조 요소에서 강력한 성능을 보였다: 나선형(H)의 경우 F1 스코어 89%, 확장된 스트랜드(E)의 경우 79%로 주요 구조 요소 예측이 우수하였다.
• 연구는 CB6133 벤치마크에서 발견된 데이터 오염 문제를 규명하고 수정하였으며, 이는 원래 저자들에 의해 즉각적으로 수용되어 벤치마크의 신뢰성이 향상되었다.
• 희귀한 I(중간) 클래스에 대해 정밀도와 재현율이 각각 0.0으로 나타나, 낮은 빈도와 모호성으로 인해 여전히 큰 도전 과제임을 시사하였다.
• U-Net 및 시간적 컨볼루션 네트워크 변형은 각각 75.4%의 정확도를 기록하여 이 아키텍처들이 이차 구조 예측 작업에 매우 적합함을 시사하였다.