[논문 리뷰] A Survey on Protein Representation Learning: Retrospect and Prospect

Lirong Wu, Yufei Huang외 2명|ArXiv.org|2022. 12. 31.

Machine Learning in Bioinformatics인용 수 8

한 줄 요약

이 종합적 서베이는 단백질 표현 학습(PRL)을 위한 통합된 프레임워크를 제시하며, 기존 방법을 서열 기반, 구조 기반, 서열-구조 공모델링 접근법으로 분류한다. 모델 아키텍처, 사전과제 작업, 후행 응용 사례를 검토하며, 메서드를 정리한 공개 GitHub 리포지터리를 제공하고 향후 방향성으로 통합 평가, 단백질 특화 설계, 향상된 해석 가능성 등을 규명한다.

ABSTRACT

Proteins are fundamental biological entities that play a key role in life activities. The amino acid sequences of proteins can be folded into stable 3D structures in the real physicochemical world, forming a special kind of sequence-structure data. With the development of Artificial Intelligence (AI) techniques, Protein Representation Learning (PRL) has recently emerged as a promising research topic for extracting informative knowledge from massive protein sequences or structures. To pave the way for AI researchers with little bioinformatics background, we present a timely and comprehensive review of PRL formulations and existing PRL methods from the perspective of model architectures, pretext tasks, and downstream applications. We first briefly introduce the motivations for protein representation learning and formulate it in a general and unified framework. Next, we divide existing PRL methods into three main categories: sequence-based, structure-based, and sequence-structure co-modeling. Finally, we discuss some technical challenges and potential directions for improving protein representation learning. The latest advances in PRL methods are summarized in a GitHub repository https://github.com/LirongWu/awesome-protein-representation-learning.

연구 동기 및 목표

• 생물정보학 배경이 제한된 인공지능 연구자들이 단백질 표현 학습(PRL)에 즉각적이고 접근 가능한 입문점을 확보할 수 있도록 한다.
• 모델 아키텍처, 사전과제 작업, 후행 응용 사례를 기반으로 체계적인 분류를 통해 기존 PRL 메서드를 종합적으로 검토하고 통합한다.
• 현재 PRL 연구에서 나타나는 기술적 한계를 규명하고, 분야 발전을 위한 다섯 가지 핵심 향후 방향을 제안한다.
• 공개 GitHub 리포지터리에 PRL 메서드, 코드, 벤치마크를 정리하여 공동 사용을 지원하고, 재현 가능성과 향후 개발을 촉진한다.

제안 방법

• 이 논문은 PRL를 일반적인 이단계 프레임워크 내에 정의한다: 다수의 사전과제 작업을 사용한 사전학습(학습 가능한 투영 헤드 포함) 후, 후행 작업에서의 미세조정.
• 저자들은 단백질을 그래프 기반 표현으로 통합하여 $\mathcal{G}=(\mathcal{V},\mathcal{E},\mathcal{X},\mathcal{F})$ 로 표현한다. 여기서 노드는 서열 및 3D 구조적 특징을 가진 아미노산 잔여물을 나타내며, 엣지는 공간적 및 서열 관계를 표현한다.
• PRL 메서드를 세 가지 범주로 분류한다: 서열 기반(예: 아미노산 서열에 대한 트랜스포머 또는 LSTMs 사용), 구조 기반(예: 3D 좌표에 대한 기하학적 딥러닝 사용), 서열-구조 공모델링(예: 1D 서열과 3D 구조의 동시 모델링).
• 대조 학습과 마스킹 오토에인코더를 핵심 사전과제 작업으로 강조하며, 손실 함수를 $\mathcal{L}_{pre}^{(k)}(\theta,\eta_k)$ 로 수식화하고, 작업에 특화된 미세조정과 함께 최적화한다.
• 직접 NLP에서의 전이를 넘어서, 생물물리적 사전 지식과 단백질 특화 인덕티브 바이어스를 통합함으로써 도메인 인식 모델 설계를 주장한다.
• 재현 가능성과 향후 발전을 지원하기 위해, 메서드, 코드, 벤치마크를 정리한 공개 GitHub 리포지터리를 제안한다.

실험 결과

연구 질문

• RQ1 모델 아키텍처, 사전과제 작업, 응용 기반으로 단백질 표현 학습을 어떻게 체계적으로 분류할 수 있는가?
• RQ2 현재 PRL 메서드의 일반화 및 해석 가능성에 장애가 되는 주요 기술적 과제는 무엇인가?
• RQ3 왜 현재 PRL 평가 환경은 산산이 흩어져 있으며, 통합된 프로토콜은 공정성과 진전을 어떻게 향상시킬 수 있는가?
• RQ4 기존의 NLP 기반 아키텍처가 단백질 데이터에 얼마나 효과적으로 적응될 수 있으며, 단백질 특화 모델 설계의 이점은 무엇인가?
• RQ5 다양한 후행 작업 간 전이 성능을 향상시키기 위해 사전학습과 미세조정 간 격차를 얼마나 줄일 수 있는가?

주요 결과

• 서베이는 세 가지 주요 PRL 패러다임을 규명한다: 서열 기반, 구조 기반, 서열-구조 공모델링. 각각은 독특한 아키텍처 및 사전학습 전략을 가진다.
• 강력한 성능에도 불구하고, 현재 PRL 메서드는 일관되지 않은 데이터셋, 메트릭, 모델 설계로 인해 공정하지 않은 비교에 의존하는 경우가 많아, 표준화된 평가 프로토콜이 필요하다는 점을 드러낸다.
• PRL 분야에는 해석 가능성의 심각한 부족이 존재하며, 특히 약물 발견과 같은 민감한 응용 분야에서 모델이 학습한 서열 모티프나 구조적 특징을 이해하는 데 어려움이 있다.
• 1D 아미노산 서열과 3D 구조 간의 대응 관계를 여전히 충분히 활용하지 못하고 있어, 향후 연계 서열-구조 모델링 분야에서 큰 기회가 있다.
• 기존 사전학습 전략은 매우 발전해 있지만, 단백질 특화 데이터 변동성과 레이블 부족 문제에 대응하는 데 특화된 미세조정 기법은 여전히 개발이 부족한 상태이다.
• 저자들은 100개 이상의 PRL 메서드와 오픈소스 구현을 포함한 공개 GitHub 리포지터리를 정리하여, 향후 연구의 기초 자원으로 기여한다.