[논문 리뷰] DRLComplex: Reconstruction of protein quaternary structures using deep reinforcement learning

Elham Soltanikazemi, Raj S. Roy외 4명|arXiv (Cornell University)|2022. 05. 26.

Protein Structure and Dynamics인용 수 6

한 줄 요약

DRLComplex는 상호작용하는 아미노산 간의 접촉 정보를 이용해 단백질의 4차 구조를 재구성하는 딥 강화학습 방법이다. 자가 대결 기반의 에이전트 기반 학습 방식을 사용하며, 진짜 접촉 정보를 사용할 경우 평균 TM-점수 0.9895와 0.9881을 기록해 높은 정확도를 달성한다. 예측된 접촉 정보를 사용할 경우에도 강력한 성능(동형 다량체의 경우 TM-점수 0.73, 异형 다량체의 경우 0.76)을 유지하며, 기존 최적화 방법들을 능가한다.

ABSTRACT

Predicted inter-chain residue-residue contacts can be used to build the quaternary structure of protein complexes from scratch. However, only a small number of methods have been developed to reconstruct protein quaternary structures using predicted inter-chain contacts. Here, we present an agent-based self-learning method based on deep reinforcement learning (DRLComplex) to build protein complex structures using inter-chain contacts as distance constraints. We rigorously tested DRLComplex on two standard datasets of homodimeric and heterodimeric protein complexes (i.e., the CASP-CAPRI homodimer and Std_32 heterodimer datasets) using both true and predicted interchain contacts as inputs. Utilizing true contacts as input, DRLComplex achieved high average TM-scores of 0.9895 and 0.9881 and a low average interface RMSD (I_RMSD) of 0.2197 and 0.92 on the two datasets, respectively. When predicted contacts are used, the method achieves TM-scores of 0.73 and 0.76 for homodimers and heterodimers, respectively. Our experiments find that the accuracy of reconstructed quaternary structures depends on the accuracy of the contact predictions. Compared to other optimization methods for reconstructing quaternary structures from inter-chain contacts, DRLComplex performs similar to an advanced gradient descent method and better than a Markov Chain Monte Carlo simulation method and a simulated annealing-based method, validating the effectiveness of DRLComplex for quaternary reconstruction of protein complexes.

연구 동기 및 목표

• 예측된 또는 진짜 상호작용하는 아미노산 간 접촉 정보로부터 단백질의 4차 구조를 재구성하기 위한 새로운 딥 강화학습 접근법을 개발하는 것.
• 삼차 구조 예측의 진전에도 불구하고 여전히 미비한 4차 구조 예측 문제에 도전하는 것.
• 모의 냉각, MCMC 등의 기존 최적화 기반 방법을 개선하기 위해 강화학습 프레임워크 내에서 자가 학습과 장기적 보상 설계를 활용하는 것.
• 구조적 템플릿이나 광범위한 도메인 전문 지침 없이도 정확하고 확장성 있고 효율적인 다량체 단백질 재구성 기능을 제공하는 것.

제안 방법

• DRLComplex는 자가 대결 메커니즘을 통해 한 단백질 사슬을 다른 사슬에 대해 위치시키는 데에 전문적인 딥 강화학습 에이전트를 사용한다.
• 이 방법은 상호작용하는 아미노산 간의 접촉을 거리 제약 조건으로 사용하며, 도킹 과정을 순차적 의사결정 문제로 간주한다.
• 에이전트는 천연 상태와의 구조 유사도를 TM-점수와 인터페이스 RMSD로 측정한 뒤, 이를 기반으로 희박한 보상을 받으며 장기적 학습을 이끈다.
• 신경망 정책을 활용해 천연 구조에서의 구조적 이탈을 최소화하는 데 기여하는 동작(회전 및 이동)을 선택한다.
• 학습 과정은 자가 대결 방식을 통해 이루어지며, 에이전트는 자신의 상호작용을 통해 점차로 천연 구조에 가까운 4차 구조를 생성하는 능력을 향상시킨다.
• 이 방법은 진짜와 예측된 상호작용하는 아미노산 간 접촉 정보를 모두 사용하여 평가되며, 현실적인 조건 하에서의 평가가 가능해졌다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 상호작용하는 아미노산 간 접촉 제약 조건과 삼차 구조만을 사용해 단백질의 4차 구조를 높은 정확도로 재구성할 수 있는가?
• RQ2 DRLComplex의 성능는 경사 하강법, 모의 냉각, 마르코프 체인 몬테카를로 방법과 같은 전통적인 최적화 방법과 비교해 어떻게 되는가?
• RQ3 재구성된 4차 구조의 정확도는 예측된 상호작용하는 아미노산 간 접촉의 질에 얼마나 의존하는가?
• RQ4 DRLComplex는 접촉 예측에 오류와 잘못된 양성 결과가 포함된 실제 세계 상황에도 일반화 가능한가?
• RQ5 DRLComplex의 자가 학습 메커니즘은 외부 구조적 템플릿이나 광범위한 도메인 전문 힌트 없이도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 진짜 상호작용하는 아미노산 간 접촉 정보를 사용할 경우, DRLComplex는 CASP-CAPRI 동형 다량체 데이터셋에서 평균 TM-점수 0.9895, Std_32 异형 다량체 데이터셋에서 0.9881을 기록한다.
• 진짜 접촉 정보를 사용할 경우, 동형 다량체의 평균 인터페이스 RMSD(I_RMSD)는 0.2197 Å, 异형 다량체는 0.92 Å이다.
• 예측된 접촉 정보를 사용할 경우, DRLComplex는 동형 다량체에서 TM-점수 0.73, 异형 다량체에서 0.76을 기록하여 접촉 예측 오류에 대한 강건성을 입증한다.
• DRLComplex는 TM-점수와 I_RMSD 측면에서 경사 하강법, 모의 냉각, 몬테카를로 방법보다 뛰어나며, 특히 완벽하지 않은 접촉 입력 조건에서의 현실적인 시나리오에서 두각을 나타낸다.
• TM-점수와 천연성(f_nat)으로 측정된 구조 품질은 접촉 예측 정확도와 강하게 상관관계가 있다—더 높은 정밀도, 재현율, F1 점수는 더 나은 재구성 결과를 이끈다.
• 시각화 결과에 따르면, DRLComplex는 삼차 구조 예측이 가능할 경우에도 천연 구조에 가까운 구조를 성공적으로 재구성하지만, 삼차 구조와 접촉 예측이 모두 부정확할 경우 성능이 크게 떨어진다(예: TM-점수 0.75로 하락, I_RMSD 6.07 Å로 증가).