[논문 리뷰] Unified framework for modeling multivariate distributions in biological sequences

Justas Dauparas, Haobo Wang외 4명|Cold Spring Harbor Laboratory Institutional Repository (Cold Spring Harbor Laboratory)|2019. 06. 06.

Machine Learning in Bioinformatics참고 문헌 17인용 수 8

한 줄 요약

이 논문은 위치 특이 점수 행렬(PSSMs), 마르코프 무작위 필드(MRFs), 다변량 정규분포(MGs), 오토인코더(AEs)를 하나의 완전히 연결된 레이어로 표현하고, 서로 다른 손실 함수를 사용함으로써 통합된 딥러닝 프레임워크를 제안한다. 핵심 기여는 MRFs와 MGs가 손실 함수의 차이—즉, 다중 분류 교차 엔트로피와 평균 제곱 오차—로만 다름을 보여주어 직접적인 모델 번역이 가능하고, 공유 정규화 기법을 통해 단백질 접촉 예측 성능을 향상시킨다는 점이다.

ABSTRACT

Revealing the functional sites of biological sequences, such as evolutionary conserved, structurally interacting or co-evolving protein sites, is a fundamental, and yet challenging task. Different frameworks and models were developed to approach this challenge, including Position-Specific Scoring Matrices, Markov Random Fields, Multivariate Gaussian models and most recently Autoencoders. Each of these methods has certain advantages, and while they have generated a set of insights for better biological predictions, these have been restricted to the corresponding methods and were difficult to translate to the complementary domains. Here we propose a unified framework for the above-mentioned models, that allows for interpretable transformations between the different methods and naturally incorporates the advantages and insight gained individually in the different communities. We show how, by using the unified framework, we are able to achieve state-of-the-art performance for protein structure prediction, while enhancing interpretability of the prediction process.

연구 동기 및 목표

• 생물학적 서열에서 다변량 분포 모델링을 위한 이질적인 모델들인 PSSMs, MRFs, MGs, AEs를 통합하는 것.
• 공진화 및 보존 분석에서 이산적 모델링(MRFs)과 연속적 모델링(MGs) 간 격차를 메우는 것.
• 특히 MRFs에서 MGs로의 정규화 기법과 통찰의 모델 간 이동을 가능하게 하는 것.
• 공동 프레임워크를 통해 여러 모델의 장점을 활용하여 단백질 구조 예측 정확도를 향상시키는 것.
• 모든 모델를 동일한 수학적 형태로 표현함으로써 생물학적 서열 분석에서 딥러닝 모델의 해석 가능성 향상.

제안 방법

• PSSM, MRF, MG, AE 등 모든 모델를 가중치와 편향을 학습 가능한 가중치를 가진 하나의 완전히 연결된 신경망 레이어로 표현한다.
• MRFs에 대해 다중 분류 교차 엔트로피(CCE) 손실을, MGs에 대해 평균 제곱 오차(MSE) 손실을 사용하며, 이는 의사우도 최소화 및 역공분산 추정과 동치임을 보여준다.
• L1, L2, 그룹 L1, 대각선 가짜 카운트와 같은 정규화 기법을 적용하여 CCE 및 MSE 모델 모두에서 희박성과 안정성 향상을 도모한다.
• MSE 모델에서 대각선 요소를 0으로 설정하는 것은 부분 상관 계수 계산과 동치임을 입증하여 MG와 MRF의 해석을 연결한다.
• MRF 및 MG 모델의 효율적 추론을 위해 평균 필드 근사와 그래픽 라소를 통합 프레임워크 내에서 활용한다.
• 접촉 예측 성능 평가에서 엔트로피 편향을 보정하기 위해 평균 제품 보정(APC)을 사용한다.

실험 결과

연구 질문

• RQ1 PSSMs, MRFs, MGs, AEs가 공통 아키텍처를 갖는 단일 딥러닝 프레임워크로 통합될 수 있는가?
• RQ2 생물학적 서열 모델링 맥락에서 MRFs에서 사용하는 다중 분류 교차 엔트로피와 MGs에서 사용하는 평균 제곱 오차 간의 수학적 관계는 무엇인가?
• RQ3 MRFs에서 유용한 정규화 기법(예: L2)이 MG 모델로 효과적으로 이식될 수 있는가?
• RQ4 GaussDCA나 CCE와 같은 최신 기법 대비 통합 프레임워크가 단백질 접촉 예측 정확도를 향상시키는가?
• RQ5 다양한 모델링 철학 간 직접 변환과 비교를 가능하게 함으로써 프레임워크가 모델의 해석 가능성 향상에 기여하는가?

주요 결과

• 통합 프레임워크는 PSSMs, MRFs, MGs, AEs를 서로 다른 손실 함수를 가진 하나의 완전히 연결된 레이어로 표현함으로써 이들의 수학적 표현을 통합한다.
• 의사우도를 사용하는 MRFs는 다중 분류 교차 엔트로피 손실 최소화와 수학적으로 동치이며, MGs의 경우 평균 제곱 오차를 최소화함을 보여주어 근본적인 통합을 드러낸다.
• MSE 기반 MG 모델에 L2 정규화를 적용하면 성능 향상이 이루어지며, CCE 기반 MRFs에 가까워지며 GaussDCA보다 약간이지만 일관된 개선을 이룬다.
• MSE 모델에서 쌍변량 행렬의 대각선을 0으로 설정하는 것은 부분 상관 계수 계산과 동치이며, MG와 MRF의 해석을 연결한다.
• 통합 프레임워크는 MRFs에서 MGs로 정규화 기법을 직접 이식할 수 있게 하여 안정성과 예측 정확도를 향상시킨다.
• 적어도 1,000개의 유효 서열을 가진 다양한 단백질 세트에서, 동일한 정규화 조건을 갖는 MSE 모델이 GaussDCA를 능가하고 CCE 성능에 가까이 다가가며, 이는 프레임워크의 실용적 유용성을 입증한다.