[논문 리뷰] Unifying Sequences, Structures, and Descriptions for Any-to-Any Protein Generation with the Large Multimodal Model HelixProtX

Zhiyuan Chen, Tianhao Chen외 5명|ArXiv.org|2024. 07. 12.

Genetics, Bioinformatics, and Biomedical Research인용 수 4

한 줄 요약

HelixProtX는 통합된 훈련을 통해 서열, 구조, 문장 기술 등 다양한 단백질 모odal 간의 임의의 변환을 가능하게 하는 대규모 다중모odal 언어 모델이다. 이 모델은 서열 설계, 구조 예측, 기술 생성 등에서 최신 기술을 초월하는 뛰어난 정확도와 높은 자기일관성을 달성하며, 단백질 연구 분야에서 통합된 다중모달 모델링의 잠재력을 입증한다.

ABSTRACT

Proteins are fundamental components of biological systems and can be represented through various modalities, including sequences, structures, and textual descriptions. Despite the advances in deep learning and scientific large language models (LLMs) for protein research, current methodologies predominantly focus on limited specialized tasks -- often predicting one protein modality from another. These approaches restrict the understanding and generation of multimodal protein data. In contrast, large multimodal models have demonstrated potential capabilities in generating any-to-any content like text, images, and videos, thus enriching user interactions across various domains. Integrating these multimodal model technologies into protein research offers significant promise by potentially transforming how proteins are studied. To this end, we introduce HelixProtX, a system built upon the large multimodal model, aiming to offer a comprehensive solution to protein research by supporting any-to-any protein modality generation. Unlike existing methods, it allows for the transformation of any input protein modality into any desired protein modality. The experimental results affirm the advanced capabilities of HelixProtX, not only in generating functional descriptions from amino acid sequences but also in executing critical tasks such as designing protein sequences and structures from textual descriptions. Preliminary findings indicate that HelixProtX consistently achieves superior accuracy across a range of protein-related tasks, outperforming existing state-of-the-art models. By integrating multimodal large models into protein research, HelixProtX opens new avenues for understanding protein biology, thereby promising to accelerate scientific discovery.

연구 동기 및 목표

• 현재의 단일 작업에 특화된 단백질 생성 모델(예: 서열 → 구조 또는 기술 → 서열)의 분산된 성격을 해결하기 위해.
• 아미노산 서열, 3D 구조, 자연어 기술 등 다양한 단백질 모달을 하나의 생성 프레임워크에 통합하여 종단 간 유연한 단백질 모델링을 가능하게 하기 위해.
• 다양한 입력-출력 모달 조합을 처리할 수 있는 하나의 시스템으로 전문화된 여러 모델을 대체함으로써 연구 복잡성을 줄이기 위해.
• 다양한 모달 간 자기일관성 평가를 통해 모델의 신뢰성과 일관성을 향상시키기 위해.
• 종합적이고 다중모달적인 단백질 생성 및 설계를 가능하게 하여 단백질 생물학 분야의 과학적 발견을 가속화하기 위해.

제안 방법

• HelixProtX는 단백질 서열, 3D 구조(백본만), 자연어 기술을 동시에 인코딩하고 생성하는 대규모 다중모달 언어 모델 아키텍처를 기반으로 한다.
• 모델은 다양한 단백질 모달 간의 쌍체 데이터셋을 종합적으로 훈련하여, 모든 9개의 가능한 입력-출력 모달 조합에 대해 제로샷 및 피셔샷 일반화를 가능하게 한다.
• 서열, 구조 좌표(Cα 원자), 자연어 기술을 공통 잠재 공간에 매핑하는 통합 토큰화 체계를 사용하여 다중모달 정렬을 달성한다.
• 서열 및 구조 복원을 위해 마스크된 자동에코딩 목표를 사용하고, 기술 생성을 위해 조건부 언어 모델링 목표를 사용한다.
• 자기일관성 평가는 X-Y-X 및 Y-X 순환 구조를 통해 수행되며, 한 모달의 출력을 다른 모달의 입력으로 사용하여 원래 모달을 재구성함으로써 신뢰도와 일관성을 측정한다.
• 독립적인 훈련과 비교해 다중 단백질 생성 작업의 공동 훈련을 통해 일반화 능력을 향상시키고 오류 전파를 줄인다.

실험 결과

연구 질문

• RQ1 단일 통합 다중모달 모델이 모든 9개의 가능한 입력-출력 모달 조합에서 높은 품질의 단백질 생성을 달성할 수 있는가?
• RQ2 특히 서열 및 구조 복원에서 HelixProtX의 자기일관성은 다양한 모달 전이 간에 어떻게 비교되는가?
• RQ3 다양한 단백질 생성 작업의 공동 훈련이 각 작업을 별도로 훈련하는 것보다 성능을 향상시키는가?
• RQ4 HelixProtX는 최신 기술 모델들과 비교해 구조 → 서열 설계 및 기술 → 구조 생성과 같은 도전적인 과제에서 어떻게 성능을 내는가?
• RQ5 자연어 기술에서 단백질을 생성할 때 모델이 기능적 및 구조적 일관성을 얼마나 잘 유지하는가?

주요 결과

• 구조 → 서열 설계에서 HelixProtX는 0.564의 서열 일치도와 0.792의 TM-score를 기록하여 ProteinMPNN(0.401 일치도, 0.787 TM-score)를 능가한다.
• 기본 → 서열 생성에서 HelixProtX는 0.486의 서열 일치도와 0.770의 TM-score를 기록하여 Chroma(0.075 일치도, 0.284 TM-score)를 능가한다.
• 서열 → 구조 예측에서 HelixProtX는 2.723의 RMSD와 0.416의 TM-score를 기록하여 더 높은 RMSD임에도 불구하고 HelixFold-Single(1.497 RMSD, 0.770 TM-score)보다 구조 품질이 뛰어나다.
• 기본 → 구조 생성에서 HelixProtX는 2.724의 RMSD와 0.407의 TM-score를 기록하여 Chroma(3.558 RMSD, 0.308 TM-score)를 크게 능가한다.
• 공동 훈련 방식은 독립 훈련 대비 구조 → 기술 생성에서 BLEU-4(0.624 대비 0.541)와 ROUGE-F1(0.829 대비 0.752)을 향상시킨다.
• 자기일관성 평가 결과 X-Y-X 및 Y-X 순환 간 강력한 일치가 확인되어 다중모달 생성의 높은 신뢰도와 일관성을 입증한다.