[논문 리뷰] Energy-based models for atomic-resolution protein conformations

Yilun Du, Joshua Meier외 3명|arXiv (Cornell University)|2020. 04. 27.

Protein Structure and Dynamics참고 문헌 47인용 수 13

한 줄 요약

이 논문은 트랜스포머 아키텍처를 사용하여 결정화된 단백질 데이터에서 직접 원자 해상도의 단백질 구조 에너지를 학습하는 딥러닝 기반의 에너지 기반 모델(EBM)을 제안한다. 구조적 데이터만으로 훈련된 모델는 로사타( Rosetta)에 가까운 로타머 복구 성능를 달성하여 생물학적으로 관련성이 있는 물리화학적 특징을 자동으로 학습할 수 있음을 보여준다.

ABSTRACT

We propose an energy-based model (EBM) of protein conformations that operates at atomic scale. The model is trained solely on crystallized protein data. By contrast, existing approaches for scoring conformations use energy functions that incorporate knowledge of physical principles and features that are the complex product of several decades of research and tuning. To evaluate the model, we benchmark on the rotamer recovery task, the problem of predicting the conformation of a side chain from its context within a protein structure, which has been used to evaluate energy functions for protein design. The model achieves performance close to that of the Rosetta energy function, a state-of-the-art method widely used in protein structure prediction and design. An investigation of the model's outputs and hidden representations finds that it captures physicochemical properties relevant to protein energy.

연구 동기 및 목표

• 수동적인 특징 엔지니어링을 회피하는 데이터 기반 단백질 구조 에너지 함수를 개발하는 것.
• 딥러닝이 단백질 결정 구조의 원자 좌표에서 직접 의미 있는 생물학적으로 관련성이 있는 에너지 표현을 학습할 수 있는지 평가하는 것.
• 단백질 에너지 함수의 표준 테스트인 로타머 복구 작업에서 모델을 벤치마킹하는 것.
• 학습된 표현을 통해 수소 결합이나 공간적 장애와 같은 물리화학적 특성이 모델이 얼마나 잘 포착하는지 조사하는 것.
• 측면 사슬 최적화 및 역폴딩을 포함한 더 넓은 단백질 설계 작업에 대해 신경 기반 에너지 함수의 잠재력을 탐색하는 것.

제안 방법

• 모델는 원자 좌표의 집합을 입력으로 처리하기 위해 트랜스포머 기반 아키텍처를 사용하며, 각 원자를 순서에 관계없이 집합 내 토큰으로 간주한다.
• 원자 간의 쌍별 상호작용을 고려하여 에너지 점수를 계산함으로써 복잡한 비가산적 의존성을 포착한다.
• 대규모 결정 단백질 구조 데이터셋에서 엔드 투 엔드로 훈련되며, 손실 함수는 올바른 천연 로타머 구성 예측에 기반한다.
• 훈련은 대조적 목적을 사용한다: 동일한 구조적 맥락 내에서 샘플링된 로타머들에 비해 천연 로타머의 에너지가 최소화된다.
• 모델는 로타머 복구 벤치마크에서 천연 로타머를 다른 후보들 중에서 가장 낮은 에너지 구조로 순위 매기는 방식으로 평가된다.
• 숨겨진 표현과 주의 맵을 분석하여 모델이 단백질 에너지와 관련된 해석 가능한 특징을 학습했는지 평가한다.

실험 결과

연구 질문

• RQ1 단백질 결정 구조에서만 훈련된 신경 기반 에너지 기반 모델이 수작업으로 설계된 에너지 함수만큼 천연 측면 사슬 구조를 정확하게 예측할 수 있는가?
• RQ2 모델이 암묵적으로 학습하는 물리화학적 특징은 무엇이며, 단백질 안정성의 알려진 원칙과 일치하는가?
• RQ3 트랜스포머 모델의 주의 메커니즘이 수소 결합, 공간적 장애 또는 비극성 상호작용과 관련된 의미 있는 패턴을 드러내는가?
• RQ4 순수하게 데이터 기반의 에너지 함수의 성능는 로사타와 같은 기존의 물리 기반 및 지식 기반 에너지 함수와 비교해 어떻게 되는가?
• RQ5 이러한 학습된 에너지 함수가 로타머 복구를 넘어서 더 넓은 단백질 설계 작업에 얼마나 일반화될 수 있는가?

주요 결과

• 제안된 에너지 기반 모델은 상태의 최고 수준인 로사타 에너지 함수 수준에 근접한 로타머 복구 성능를 달성하여, 명시적인 물리적 사전 지식 없이도 강력한 경쟁력을 보여준다.
• 모델는 천연 로타머에 대해 비천연 로타머보다 낮은 에너지를 할당함으로써 안정된 구조를 효과적으로 식별함을 나타낸다.
• 모델의 주의 맵은 수소 결합과 비극성 상호작용에 관여하는 원자들에서 국소적 주의 패턴을 보이며, 핵심 물리화학적 상호작용에 대한 민감도를 학습했다는 것을 시사한다.
• 숨겨진 표현은 잔기 유형과 구조적 환경에 따라 의미 있는 군집을 보이며, 모델이 생물학적으로 관련성이 있는 구조적 특징을 포착하고 있음을 나타낸다.
• 모델의 에너지 함수는 측면 사슬 패킹에서의 협동 효과와 같은 원자 간 비가산적, 고차원 의존성을 포착할 수 있다.
• 결과는 딥러닝이 전문가가 설계한 용어에 의존하지 않고도 구조적 데이터에서 복잡한 생물학적으로 관련성이 있는 특징을 자동으로 발견할 수 있음을 시사한다.