[论文解读] FoldingZero: Protein Folding from Scratch in Hydrophobic-Polar Model

Yanjun Li, Hengtong Kang+3 more|arXiv (Cornell University)|Dec 3, 2018

Protein Structure and Dynamics参考文献 23被引用 6

一句话总结

FoldingZero 提出了一种深度强化学习框架，通过使用双头深度卷积网络（HPNet）和正则化上限置信区间树算法（R-UCT），从头开始自动折叠二维疏水-极性（HP）蛋白结构。在无监督或领域知识的情况下，该框架通过学习潜在的结构知识，实现了具有竞争力的折叠结果，展示了其可扩展性及在真实世界蛋白质性质预测中的潜力。

ABSTRACT

De novo protein structure prediction from amino acid sequence is one of the most challenging problems in computational biology. As one of the extensively explored mathematical models for protein folding, Hydrophobic-Polar (HP) model enables thorough investigation of protein structure formation and evolution. Although HP model discretizes the conformational space and simplifies the folding energy function, it has been proven to be an NP-complete problem. In this paper, we propose a novel protein folding framework FoldingZero, self-folding a de novo protein 2D HP structure from scratch based on deep reinforcement learning. FoldingZero features the coupled approach of a two-head (policy and value heads) deep convolutional neural network (HPNet) and a regularized Upper Confidence Bounds for Trees (R-UCT). It is trained solely by a reinforcement learning algorithm, which improves HPNet and R-UCT iteratively through iterative policy optimization. Without any supervision and domain knowledge, FoldingZero not only achieves comparable results, but also learns the latent folding knowledge to stabilize the structure. Without exponential computation, FoldingZero shows promising potential to be adopted for real-world protein properties prediction.

研究动机与目标

• 为通过数据驱动的自监督方法解决从氨基酸序列进行从头蛋白结构预测的根本性挑战。
• 开发一种在简化疏水-极性（HP）模型中可扩展且高效的蛋白质折叠框架，尽管该模型虽为抽象化但仍为 NP 完全问题。
• 通过仅依赖强化学习训练，消除对已有结构注释或领域特定启发式规则的依赖。
• 探索深度强化学习在通过迭代策略优化发现潜在折叠模式和稳定蛋白质结构方面的潜力。

提出的方法

• FoldingZero 采用双头深度卷积神经网络（HPNet）来为每个折叠步骤预测动作策略和价值函数。
• 它整合了正则化上限置信区间树算法（R-UCT），以在动作空间中引导树搜索，平衡探索与利用。
• 该框架使用一个自折叠环境，其中智能体在二维正方形晶格上按顺序放置氨基酸，确保自避免行走和接触规则。
• 通过在内存中存储状态、动作、奖励和策略，强化学习循环迭代优化 HPNet 和 R-UCT。
• 奖励信号定义为 H-H 接触数的相反数，数值越低（越负）表示折叠稳定性越好。
• 该方法端到端训练，完全无监督，仅依赖折叠过程中的环境反馈。

实验结果

研究问题

• RQ1 一个深度强化学习智能体是否能够完全无监督或无领域知识地从头开始自动折叠二维 HP 蛋白结构？
• RQ2 HPNet 与 R-UCT 框架在 HP 模型中与现有启发式和组合优化方法相比，性能如何？
• RQ3 智能体是否通过经验学习到潜在的结构知识，例如疏水核心形成和极性残基表面定位？
• RQ4 该框架能否扩展到基准数据集之外的更长序列？其在全局序列感知方面的局限性是什么？
• RQ5 该方法在计算生物学和化学中更复杂蛋白质模型上的泛化能力如何？

主要发现

• FoldingZero 通过将疏水残基聚集在中心并将其余极性残基置于表面，成功形成了紧凑的疏水核心，展示了其学习到的结构知识。
• 在基准序列上，该框架的折叠质量与现有启发式方法相当，H-H 接触得分接近或达到已知最优结果。
• 对于长序列（如 Seq4），FoldingZero 保持了 H-H 核心模式，表明其在标准基准之外仍具可扩展性。
• 在某些情况下（如 Seq3），智能体的局部决策导致次优结果（例如，最后一个疏水残基未能形成 H-H 接触），表明其全局序列感知能力有限。
• 该模型通过强化学习学习到潜在的折叠模式，实现了无显式监督或先验生物学知识的结构稳定化。
• 由于其高效性和可扩展性，该框架在真实世界蛋白质性质预测方面展现出巨大潜力，避免了指数级计算复杂度。