[논문 리뷰] Next-Step Conditioned Deep Convolutional Neural Networks Improve Protein Secondary Structure Prediction

Akosua Busia, Navdeep Jaitly|arXiv (Cornell University)|2017. 02. 13.

Machine Learning in Bioinformatics참고 문헌 21인용 수 18

한 줄 요약

이 논문은 다음 단계 조건부 딥 컨volution 신경망을 도입하여 단백질 2차 구조 예측 성능을 향상시킨다. 이는 계획된 샘플링을 통해 국소적 아미노산 서열 특징과 이전에 예측된 구조 레이블에 조건을 두어 수행된다. 앙상블을 통해 CB513 기준 71.4%의 Q8 정확도를 달성하여 8개 클래스의 2차 구조 예측에서 단일 모델 및 앙상블 접근 방식의 새로운 최고 성능을 수립한다.

ABSTRACT

Recently developed deep learning techniques have significantly improved the accuracy of various speech and image recognition systems. In this paper we show how to adapt some of these techniques to create a novel chained convolutional architecture with next-step conditioning for improving performance on protein sequence prediction problems. We explore its value by demonstrating its ability to improve performance on eight-class secondary structure prediction. We first establish a state-of-the-art baseline by adapting recent advances in convolutional neural networks which were developed for vision tasks. This model achieves 70.0% per amino acid accuracy on the CB513 benchmark dataset without use of standard performance-boosting techniques such as ensembling or multitask learning. We then improve upon this state-of-the-art result using a novel chained prediction approach which frames the secondary structure prediction as a next-step prediction problem. This sequential model achieves 70.3% Q8 accuracy on CB513 with a single model; an ensemble of these models produces 71.4% Q8 accuracy on the same test set, improving upon the previous overall state of the art for the eight-class secondary structure problem. Our models are implemented using TensorFlow, an open-source machine learning software library available at TensorFlow.org; we aim to release the code for these experiments as part of the TensorFlow repository.

연구 동기 및 목표

• 컴퓨터 시각 기술에서 유도된 딥 러닝 기법을 활용해 단백질 2차 구조 예측 정확도를 향상시키는 것.
• 표준 컨volution 신경망이 단백질 구조 내 순차적 의존성을 포착하는 데 한계가 있음을 해결하는 것.
• 예측이 이전에 예측된 레이블에 의존하는 다음 단계 조건부 기법을 도입하여 2차 구조 예측의 순차적 모델링을 향상시키는 것.
• 학습 중 계획된 샘플링을 통해 다음 단계 조건부 모델의 과적합을 완화하는 것.
• 단일 모델 및 앙상블 모델을 활용해 8개 클래스의 2차 구조 예측에서 새로운 최고 성능를 확립하는 것.

제안 방법

• 배치 정규화, 드롭아웃, 가중치 정규화와 같은 기법을 사용해 아미노산 서열에서 특징 학습을 향상시키기 위해 다중 스케일 잔차 컨volution 신경망을 설계한다.
• 3-필터 커널을 사용한 1차원 컨볼루션을 통해 일련의 임베딩(예: one-hot 및 PSSM 인코딩)에서 局부 패턴을 추출한다.
• 이전에 예측된 2차 구조 레이블을 다음 예측에 입력으로 제공함으로써 다음 단계 조건부 기법을 도입하여 자동회귀 모델링을 가능하게 한다.
• 학습 중에 실제 레이블을 모델 예측 레이블로 무작위로 교체함으로써 과적합을 줄이기 위해 계획된 샘플링을 적용한다.
• 레이블 스무딩과 조기 정지 기법을 사용해 교차 엔트로피 손실을 기반으로 끝내기까지의 전반적인 학습을 수행하여 과적합을 방지한다.
• 다중 개체의 다음 단계 조건부 네트워크를 학습하고 예측 결과를 평균내어 정확도와 견고성을 향상시키기 위해 앙상블 모델을 생성한다.

실험 결과

연구 질문

• RQ1 다음 단계 조건부 기법이 표준 컨볼루션 네트워크를 초월해 단백질 2차 구조 예측 성능을 향상시킬 수 있는가?
• RQ2 계획된 샘플링이 다음 단계 조건부 모델의 일반화 성능에 미치는 영향은 어떠한가?
• RQ3 학습 중 실제 레이블 대신 예측 레이블에 조건을 두었을 때 과적합이 얼마나 감소하는가?
• RQ4 잔차 연결과 다중 스케일 필터를 갖춘 단일 딥 컨볼루션 모델이 앙상블 없이도 이전 최고 성능 모델을 초월할 수 있는가?
• RQ5 언어 모델링 기법을 단백질 서열 모델링에 통합하면 2차 구조 예측 정확도에 측정 가능한 향상이 이루어지는가?

주요 결과

• 고급 컨볼루션 기법을 사용한 베이스라인 모델은 앙상블 또는 다중 작업 학습 없이도 CB513에서 70.0%의 Q8 정확도를 달성하여 단일 모델 기준 새로운 최고 성능를 설정한다.
• 다음 단계 조건부 모델은 단일 모델로 CB513에서 70.3%의 Q8 정확도를 기록하여 기준 모델 대비 0.3% 향상된 성능을 보였다.
• 다음 단계 조건부 모델의 앙상블은 CB513에서 71.4%의 Q8 정확도를 달성하여 이전 전체 최고 성능 대비 1.7% 향상된 결과를 보였다.
• 계획된 샘플링을 적용하지 않은 경우 다음 단계 조건부 모델은 심각한 과적합을 보였으며, 검증 정확도 82%에서 테스트 세트 추론 시 정확도가 67.1%로 떨어지는 결과를 보여, 계획된 샘플링의 필요성을 입증했다.
• 희귀하거나 짧은 2차 구조 클래스에 대해 약간의 재현율 결함이 관찰되어, 레이블 반복에 대한 지속적인 과적합이 여전히 존재함을 시사한다.
• 제안된 아키텍처는 일반화 가능성이 있으며, 솔베이션 접근성 또는 배경 각도 예측과 같은 다른 단백질 서열 예측 과제에 적용될 수 있다.