[论文解读] Geometric Prediction: Moving Beyond Scalars

Raphael J.L. Townshend, Brent Townshend+2 more|arXiv (Cornell University)|Jun 25, 2020

Protein Structure and Dynamics参考文献 27被引用 5

一句话总结

本文提出通过等变神经网络实现几何预测，直接预测几何张量（如分子力场和生物分子结构精修）而不将其近似为标量。该方法在数据效率方面表现卓越，即使在小规模数据集上训练，也能对未见过的系统实现良好泛化，且在物理与生物学应用中显著提升了结构精度和预测保真度，达到当前最优性能。

ABSTRACT

Many quantities we are interested in predicting are geometric tensors; we refer to this class of problems as geometric prediction. Attempts to perform geometric prediction in real-world scenarios have been limited to approximating them through scalar predictions, leading to losses in data efficiency. In this work, we demonstrate that equivariant networks have the capability to predict real-world geometric tensors without the need for such approximations. We show the applicability of this method to the prediction of force fields and then propose a novel formulation of an important task, biomolecular structure refinement, as a geometric prediction problem, improving state-of-the-art structural candidates. In both settings, we find that our equivariant network is able to generalize to unseen systems, despite having been trained on small sets of examples. This novel and data-efficient ability to predict real-world geometric tensors opens the door to addressing many problems through the lens of geometric prediction, in areas such as 3D vision, robotics, and molecular and structural biology.

研究动机与目标

• 为解决在预测几何张量时标量近似方法存在的局限性，此类方法会牺牲数据效率与结构保真度。
• 证明等变神经网络可直接预测真实世界中的几何张量，而无需依赖标量分解或数据增强。
• 将生物分子结构精修重新表述为几何预测问题，通过张量值输出提升结构精度。
• 通过在学习过程中强制实施几何对称性，建立适用于三维视觉、机器人学与分子生物学的几何预测框架。

提出的方法

• 作者采用等变神经网络，其天然尊重旋转与平移等几何变换，确保模型输出与输入对称性一致地变换。
• 设计损失函数以在训练过程中强制实现等变性，使网络能够学习张量值预测，同时不违反几何约束。
• 网络在小规模分子系统数据集上端到端训练，输入为原子坐标与特征，输出为力向量或结构精修结果。
• 在生物分子精修任务中，模型预测原子的位移向量，采用保持空间关系的几何损失，以提升候选结构质量。
• 该方法避免标量分解，直接回归张量分量，从而保留预测量的完整几何结构。
• 该框架在两项任务上进行了验证：分子力场预测与局部RNA结构精修，采用真实世界基准数据。

实验结果

研究问题

• RQ1 能否在真实科学问题中直接使用等变神经网络预测几何张量，从而绕过标量近似？
• RQ2 强制实现等变性如何提升几何预测任务中的数据效率与泛化能力？
• RQ3 能否通过张量值输出将生物分子结构精修有意义地重新表述为几何预测问题？
• RQ4 当在有限数据上训练时，等变网络在多大程度上能泛化到未见过的分子系统？

主要发现

• 等变网络在力场预测中实现了0.95 Å的量级误差，显著优于标量基线方法，较朴素的标量方法降低39%的误差。
• 在局部RNA结构精修任务中，模型将量级误差降低至1.45 Å（阶次2），优于基线方法，并展现出对未见系统的强大泛化能力。
• 尽管仅在13个RNA结构上进行训练，网络仍能有效泛化到未见分子系统，表明其具有极高的数据效率。
• 角度预测误差降低至68.8度（阶次2），相比基线方法展现出更优的角保真度。
• 该方法在生物分子结构精修任务中达到当前最优性能，生成的结构候选质量高于现有RNA预测软件。
• 结果证实，通过等变性强制实施几何对称性可获得更鲁棒、更具泛化能力的模型，尤其在低数据场景下表现突出。