[논문 리뷰] MUST-CNN: A Multilayer Shift-and-Stitch Deep Convolutional Architecture for Sequence-based Protein Structure Prediction

Zeming Lin, Jack Lanchantin외 1명|arXiv (Cornell University)|2016. 05. 10.

Protein Structure and Dynamics참고 문헌 28인용 수 16

한 줄 요약

MUST-CNN는 아미노산 서열에서부터 종단 간, 위치 기반 단백질 성질 예측을 위한 새로운 다층 이동-스티치 합성곱 신경망을 제안한다. 계층적 이동-스티치 연산을 통해 해상도 손실 없이 전체 단백질 서열에서 효율적인 밀집 예측을 가능하게 함으로써, 이전 방법들보다 빠른 추론 속도와 간단한 아키텍처를 바탕으로 2차 구조 및 용매 접근성 예측에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Predicting protein properties such as solvent accessibility and secondary structure from its primary amino acid sequence is an important task in bioinformatics. Recently, a few deep learning models have surpassed the traditional window based multilayer perceptron. Taking inspiration from the image classification domain we propose a deep convolutional neural network architecture, MUST-CNN, to predict protein properties. This architecture uses a novel multilayer shift-and-stitch (MUST) technique to generate fully dense per-position predictions on protein sequences. Our model is significantly simpler than the state-of-the-art, yet achieves better results. By combining MUST and the efficient convolution operation, we can consider far more parameters while retaining very fast prediction speeds. We beat the state-of-the-art performance on two large protein property prediction datasets.

연구 동기 및 목표

• 아미노산 서열에서부터 2차 구조 및 용매 접근성과 같은 단백질 성질을 직접 예측할 수 있는 딥 러닝 모델을 개발하는 것.
• 윈도우 기반 다층 퍼셉트론(MLP) 모델의 한계, 즉 느린 훈련 속도와 제한된 수신 영역을 극복하는 것.
• 계산적으로 효율적인 합성곱 아키텍처를 사용하여 전체 단백질 서열에서 해상도가 그대로 유지되는 전체 위치 레이블링을 가능하게 하는 것.
• 슬라이딩 윈도우 추론이 필요 없도록 새로운 이동-스티치 기법을 도입하여 고성능 모델의 용량과 속도를 유지하는 것.
• 다양한 생물학적 및 NLP 작업에 적용 가능한 일반화된 종단 간 프레임워크를 구축하는 것.

제안 방법

• 풀링으로 인한 해상도 손실 없이 전체 단백질 서열에서 해상도가 그대로 유지되는 밀집 예측을 가능하게 하는 다층 이동-스티치(MUST) 기법을 도입한다.
• 파rameter 공유를 적용한 계층적 합성곱 레이어를 사용하여 단백질 서열 내 장거리 상관관계를 포착한다.
• 모든 가능한 위치에 대한 점수를 동시에 계산하기 위해 이동-스티치 메커니즘을 활용하여 슬라이딩 윈도우를 반복적으로 통과하는 것을 방지한다.
• 전체 길이의 서열에서 종단 간 훈련을 수행하여 모델이 전반적 맥락과 국소 패턴을 동시에 학습할 수 있도록 한다.
• 효율적인 합성곱 연산과 MUST 기법을 조합하여 모델 용량을 확장하면서도 빠른 추론 속도를 유지한다.
• 다양한 데이터셋에 맞게 적응적으로 드롭아웃 정규화를 적용하여 아키텍처 변경 없이 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 윈도우 기반 MLP 모델에 비해 딥 합성곱 신경망이 단백질 성질 예측에서 뛰어난 성능을 낼 수 있는가?
• RQ2 이동-스티치 기법을 통해 장거리 단백질 서열에 대해 계산적으로 효율적인 방식으로 해상도가 그대로 유지되는 위치 기반 레이블링이 가능한가?
• RQ3 전체 서열에서 종단 간 훈련이 국소 윈도우 기반 및 특징 엔지니어링에 의존하는 모델보다 우수한 성능을 낼 수 있는가?
• RQ4 GSN, LSTM, CNF와 같은 기존 최신 기술 수준의 모델들과 비교해 MUST-CNN의 모델 용량과 추론 속도는 어떻게 다른가?
• RQ5 단일 통합 아키텍처가 최소한의 하이퍼파라미터 튜닝으로도 여러 단백질 성질 예측 작업에 일반화하여 잘 작동하는가?

주요 결과

• MUST-CNN은 CB513 데이터셋의 ssp(3클래스 2차 구조) 작업에서 89.6%의 Q3 정확도를 기록하여 이전 최신 기술 수준의 성능을 초월한다.
• CullPDB 데이터셋에서 MUST-CNN은 68.4%의 Q8 정확도를 달성하여 이전 최고 성능인 LSTM 모델의 67.4%를 뛰어넘는다.
• 모델은 100만 개의 아미노산을 2초 이내에 예측하여 높은 모델 용량에도 불구하고 뛰어난 추론 속도를 입증한다.
• 4prot 데이터셋에서 이전에 발표된 최고 성능보다 Q3 정확도에서 1% 향상되었으며, 이는 훨씬 간단한 아키텍처를 사용한 덕분이다.
• 다양한 데이터셋 간에서 일관된 성능을 보이며, 단지 드롭아웃 하이퍼파라미터 조정만으로도 다양한 단백질 성질 예측 작업에 잘 일반화된다.
• 이동-스티치 메커니즘은 속도를 희생시키지 않고도 해상도가 그대로 유지되는 예측을 가능하게 하여, 윈도우 기반 접근 방식보다 장거리 상관관계를 더 효과적으로 학습할 수 있다.