[논문 리뷰] ProtSolM: Protein Solubility Prediction with Multi-modal Features

Yang Tan, Zheng Jia외 2명|arXiv (Cornell University)|2024. 06. 28.

Protein purification and stability인용 수 5

한 줄 요약

ProtSolM은 단백질 서열, 구조 및 물리화학적 특성을 통합하고, 대규모 다중 모달 데이터로 사전 학습하며, PDBSol 데이터셋에서 미세 조정하여 최첨단 성능으로 단백질 용해도를 예측하는 딥 러닝 프레임워크이다.

ABSTRACT

Understanding protein solubility is essential for their functional applications. Computational methods for predicting protein solubility are crucial for reducing experimental costs and enhancing the efficiency and success rates of protein engineering. Existing methods either construct a supervised learning scheme on small-scale datasets with manually processed physicochemical properties, or blindly apply pre-trained protein language models to extract amino acid interaction information. The scale and quality of available training datasets leave significant room for improvement in terms of accuracy and generalization. To address these research gaps, we propose \sol, a novel deep learning method that combines pre-training and fine-tuning schemes for protein solubility prediction. ProtSolM integrates information from multiple dimensions, including physicochemical properties, amino acid sequences, and protein backbone structures. Our model is trained using \data, the largest solubility dataset that we have constructed. PDBSol includes over $60,000$ protein sequences and structures. We provide a comprehensive leaderboard of existing statistical learning and deep learning methods on independent datasets with computational and experimental labels. ProtSolM achieved state-of-the-art performance across various evaluation metrics, demonstrating its potential to significantly advance the accuracy of protein solubility prediction.

연구 동기 및 목표

• 정확한 단백질 용해도 예측의 필요성을 제시하여 단백질 엔지니어링을 돕고 실험 비용을 감소시킨다.
• 서열, 구조 및 물리화학 특성을 결합한 다중 모달 딥 러닝 모델 ProtSolM을 소개한다.
• 훈련 및 평가를 위한 대규모 용해도 데이터셋 PDBSol을 생성하고 활용한다.
• 독립 데이터셋에서 기존 방법 대비 최첨단 성능을 입증한다.

제안 방법

• Two-module architecture: an AA-level encoding module pre-trained with self-supervised learning to capture sequence and structure embeddings using ESM2 and roto-translation equivariant GNNs.
• 자기지도 학습으로 사전 학습된 AA-레벨 인코딩 모듈을 통해 ESM2 및 roto-translation 등등의 이용으로 서열과 구조 임베딩을 포착하는 두 모듈 아키텍처.
• Fine-tuning module that combines AA-level representations with protein-level hand-crafted physicochemical features, using attention pooling and a weighted residual connection with a pLDDT penalty.
• AA-레벨 표현과 단백질-레벨 수작업 핸드 크래프트 물리화학 특징을 결합하고, 어텐션 풀링과 pLDDT 페널티를 갖는 가중 잔차 연결을 사용하는 미세 조정 모듈.
• Protein-level representation is formed by attention pooling over AA embeddings, concatenated with 42 hand-crafted features, and fed through fully connected read-out layers for binary solubility prediction.
• AA 임베딩에 대한 어텐션 풀링으로 구성되고 42개의 핸드크래프트 특성을 연결한 뒤, 이들을 완전 연결된 읽기 아웃 계층으로 전달하여 이진 용해도 예측을 수행한다.
• Pre-training task: denoising AA types with multinomial noise to learn structure-aware evolutionary embeddings.
• 사전 학습 과제: 다항 노이즈를 사용해 AA 타입을 디노이징함으로써 구조-의존적 진화 임베딩을 학습한다.
• Fine-tuning data: PDBSol, the largest solubility dataset to date (over 60k proteins with sequences, structures, and labels).
• 미세 조정 데이터: PDBSol, 현재까지 가장 큰 용해도 데이터셋(시퀀스, 구조 및 레이블을 가진 60k개가 넘는 단백질).
• Model variants tested include ProtSolM with different backbone configurations (k10/k20/k30 and hidden size h512).
• 테스트된 모델 변형은 서로 다른 백본 구성(k10/k20/k30 및 숨김 크기 h512)을 가진 ProtSolM을 포함한다.

실험 결과

연구 질문

• RQ1 Can integrating sequence, structure, and physicochemical properties improve protein solubility prediction beyond sequence-only or structure-only models?
• RQ2 시퀀스 만으로 또는 구조 만으로의 모델보다 시퀀스, 구조 및 물리화학 특성을 통합하면 단백질 용해도 예측이 향상되는가?
• RQ3 Does pre-training on large multi-modal protein data improve generalization to independent solubility benchmarks?
• RQ4 큰 다중 모달 단백질 데이터에 대한 사전 학습이 독립적인 용해도 벤치마크에 대한 일반화를 향상시키는가?
• RQ5 What is the contribution of each component (pLDDT penalty, attention pooling, hand-crafted features) to prediction performance?
• RQ6 각 구성요소(pLDDT 페널티, 어텐션 풀링, 핸드크래프트 특징)가 예측 성능에 기여하는 바는 무엇인가?
• RQ7 How does ProtSolM perform relative to existing supervised and fine-tuned pre-trained models on standard and external solubility benchmarks?
• RQ8 표준 및 외부 용해도 벤치마크에서 ProtSolM의 성능은 기존의 감독 학습 모델 및 미세 조정된 사전 학습 모델과 비교해 어떠한가?

주요 결과

• ProtSolM achieves state-of-the-art performance on standard and external solubility benchmarks across multiple metrics.
• ProtSolM은 표준 및 외부 용해도 벤치마크에서 다수의 지표에 걸쳐 최첨단 성능을 달성한다.
• ProtSolM variants (k10/k20/k30 with h512) significantly outperform baseline models on accuracy, precision, recall, AUC, and MCC on standard test data.
• ProtSolM 변형(k10/k20/k30, h512)은 표준 테스트 데이터에서 정확도, 정밀도, 재현율, AUC, MCC에서 베이스라인 모델을 크게능가한다.
• ProtSolM maintains strong performance on external test datasets, though gains are smaller than on the standard test set.
• ProtSolM은 외부 테스트 데이터 세트에서도 강력한 성능을 유지하나 표준 테스트 세트에 비해 이득은 더 작다.
• Ablation studies show that the attention pooling and the pLDDT penalty, along with hand-crafted protein-level features, contribute meaningfully to performance; removing any degrades results.
• 소거 연구는 어텐션 풀링과 pLDDT 페널티, 그리고 핸드크래프트된 단백질-레벨 특징들이 성능에 의미 있게 기여함을 보여주며, 어느 하나를 제거하면 결과가 저하된다.
• t-SNE visualization indicates separability of soluble vs insoluble samples in ProtSolM’s learned representation, supporting discriminative embedding.
• t-SNE 시각화는 ProtSolM의 학습 표현에서 용해 가능한 샘플과 불용해 샘플의 분리 가능성을 시사하며 판별 가능 임베딩을 뒷받침한다.
• ProtSolM outperforms both traditional supervised models and fine-tuned self-supervised language models on the standard test set.
• ProtSolM은 표준 테스트 세트에서 전통적인 감독 모델과 미세 조정된 자기지도 학습 언어 모델보다 우수한 성능을 보인다.