[论文解读] DRLComplex: Reconstruction of protein quaternary structures using deep reinforcement learning

Elham Soltanikazemi, Raj S. Roy+4 more|arXiv (Cornell University)|May 26, 2022

Protein Structure and Dynamics被引用 6

一句话总结

DRLComplex 是一种深度强化学习方法，通过自对弈、基于智能体的学习方法，利用链间残基-残基接触信息重构蛋白质四级结构。在使用真实接触信息时，其准确率极高——在同源二聚体和异源二聚体数据集上的平均 TM 评分分别为 0.9895 和 0.9881；在使用预测接触信息时，仍保持强劲性能（TM 评分分别为 0.73 和 0.76），优于传统优化方法。

ABSTRACT

Predicted inter-chain residue-residue contacts can be used to build the quaternary structure of protein complexes from scratch. However, only a small number of methods have been developed to reconstruct protein quaternary structures using predicted inter-chain contacts. Here, we present an agent-based self-learning method based on deep reinforcement learning (DRLComplex) to build protein complex structures using inter-chain contacts as distance constraints. We rigorously tested DRLComplex on two standard datasets of homodimeric and heterodimeric protein complexes (i.e., the CASP-CAPRI homodimer and Std_32 heterodimer datasets) using both true and predicted interchain contacts as inputs. Utilizing true contacts as input, DRLComplex achieved high average TM-scores of 0.9895 and 0.9881 and a low average interface RMSD (I_RMSD) of 0.2197 and 0.92 on the two datasets, respectively. When predicted contacts are used, the method achieves TM-scores of 0.73 and 0.76 for homodimers and heterodimers, respectively. Our experiments find that the accuracy of reconstructed quaternary structures depends on the accuracy of the contact predictions. Compared to other optimization methods for reconstructing quaternary structures from inter-chain contacts, DRLComplex performs similar to an advanced gradient descent method and better than a Markov Chain Monte Carlo simulation method and a simulated annealing-based method, validating the effectiveness of DRLComplex for quaternary reconstruction of protein complexes.

研究动机与目标

• 开发一种新颖的深度强化学习方法，用于从预测或真实的链间接触信息中重构蛋白质四级结构。
• 解决四级结构预测的挑战，尽管三级结构预测已取得进展，但四级结构预测仍发展不足。
• 通过在强化学习框架中引入自学习和长期奖励设计，改进现有基于优化的方法（如模拟退火、MCMC）。
• 实现在无需结构模板或大量领域特定指导的前提下，实现高精度、可扩展且高效的蛋白质二聚体重构。

提出的方法

• DRLComplex 采用深度强化学习智能体，通过自对弈机制学习将一条蛋白质链相对于另一条链进行定位，以优化几何构型。
• 该方法将链间残基-残基接触视为距离约束，并将对接过程视为序列决策问题。
• 智能体根据与天然构象的结构相似性（通过 TM 评分和界面 RMSD 衡量）接收稀疏奖励，以引导长期学习。
• 它利用神经网络策略选择动作（旋转和平移），以最小化与天然构象的结构偏差。
• 训练过程采用自对弈机制，智能体从自身交互中学习，并逐步提升生成近天然四级结构的能力。
• 该方法在真实接触和预测接触两种条件下进行评估，从而在现实条件下实现性能评估。

实验结果

研究问题

• RQ1 深度强化学习智能体是否仅依靠链间接触约束和三级结构，就能以高精度重构蛋白质四级结构？
• RQ2 DRLComplex 在四级结构重构中与梯度下降、模拟退火和马尔可夫链蒙特卡洛等传统优化方法相比表现如何？
• RQ3 重构的四级结构的准确性在多大程度上依赖于预测的链间接触质量？
• RQ4 当接触预测包含错误和假阳性时，DRLComplex 是否能泛化到真实世界场景？
• RQ5 DRLComplex 的自学习机制是否能在无需外部结构模板或大量领域特定启发式规则的前提下，实现最先进性能？

主要发现

• 在使用真实链间接触时，DRLComplex 在 CASP-CAPRI 同源二聚体数据集上的平均 TM 评分为 0.9895，在 Std_32 异源二聚体数据集上为 0.9881。
• 使用真实接触时，同源二聚体的平均界面 RMSD（I_RMSD）为 0.2197 Å，异源二聚体为 0.92 Å。
• 在使用预测接触时，DRLComplex 对同源二聚体和异源二聚体的 TM 评分分别为 0.73 和 0.76，表明其对接触预测误差具有鲁棒性。
• 在 TM 评分和 I_RMSD 方面，DRLComplex 显著优于梯度下降、模拟退火和蒙特卡洛方法，尤其在接触输入不完美时表现更优。
• 结构质量（通过 TM 评分和天然性 f_nat 衡量）与接触预测准确性密切相关——更高的精确率、召回率和 F1 分数带来更优的重构结果。
• 可视化结果显示，即使在三级结构被预测的情况下，DRLComplex 也能成功重构接近天然的结构；但当三级结构和接触预测均不准确时，性能显著下降（例如，TM 评分降至 0.75，I_RMSD 上升至 6.07 Å）。