[论文解读] Generating valid Euclidean distance matrices

Moritz Hoffmann, Frank Noé|arXiv (Cornell University)|Oct 7, 2019

Machine Learning in Materials Science参考文献 44被引用 37

一句话总结

本文提出一种神经网络架构，能够在预定义的嵌入维度下生成有效的欧几里得距离矩阵（EDMs），并使用带有置换不变评判器的 Wasserstein GAN 来建模点云的分布，演示对象为 QM9 中的 C7O2H10 异构体。

ABSTRACT

Generating point clouds, e.g., molecular structures, in arbitrary rotations, translations, and enumerations remains a challenging task. Meanwhile, neural networks utilizing symmetry invariant layers have been shown to be able to optimize their training objective in a data-efficient way. In this spirit, we present an architecture which allows to produce valid Euclidean distance matrices, which by construction are already invariant under rotation and translation of the described object. Motivated by the goal to generate molecular structures in Cartesian space, we use this architecture to construct a Wasserstein GAN utilizing a permutation invariant critic network. This makes it possible to generate molecular structures in a one-shot fashion by producing Euclidean distance matrices which have a three-dimensional embedding.

研究动机与目标

• 在不使用显式笛卡尔坐标的前提下生成有效的欧几里得距离矩阵，以确保旋转和平移不变性。
• 开发一个 GAN 框架，特别是一个 Wasserstein GAN，用以学习 EDM 的分布。
• 在 critic 中引入置换不变性，以把点云作为集合来处理。
• 将该方法应用于 QM9 的异构体，并评估其泛化性和化学有效性。

提出的方法

• 对称空心矩阵进行参数化，并通过一个惩罚非 EDM 的损失来强制 EDM 有效性，使用带有 J 投影的 PSD 条件。
• 通过对称矩阵 L 经过一个非负函数 g 的变换得到 Gram 矩阵 M，接着从中重构 EDM D。
• 将 D 与 M 的关系写成 D_{ij}=M_{ii}+M_{jj}-2M_{ij}，并通过基于特征值的惩罚来限制 M 的秩以强制嵌入维度。
• 训练一个带有基于 SchNet 的 critic 的 Wasserstein GAN，运行在成对距离上，以实现对 EDM 的置换不变性评估。
• 在生成器中通过应用基于 softplus 的再参数化来确保半正定性并控制秩（嵌入维度），从而强制 EDM 结构。
• 扩展模型以包含原子类型信息以及在训练过程中添加额外的损失，如用于类型的交叉熵、谐波斥力以及特定 EDM 的惩罚。

实验结果

研究问题

• RQ1 神经网络是否能够在不使用直接笛卡尔坐标的情况下，生成具有预定义嵌入维度的有效 EDM？
• RQ2 带有置换不变 critic 的 WGAN 是否能够学习与分子几何对应的 EDM 分布？
• RQ3 基于 EDM 的生成在 QM9 中对未见分子和构象的泛化能力如何？
• RQ4 与训练数据相比，生成的分子拓扑和构象的多样性如何？
• RQ5 生成的结构在弛豫后是否产生能量上合理的构型？

主要发现

• 该方法生成的 EDM 对应于嵌入到三维空间中的点云，产生旋转和平移不变的表示。
• 带 SchNet critic 的 WGAN 能够学习 QM9 子集分子（C7O2H10 异构体）的 EDM 分布，并超越训练集进行泛化。
• 生成的样本在对比距离分布方面显示出 Qualitative 正确，并且可以弛豫到 QM9 能量范围内的能量。
• 部分生成样本通过基本有效性测试（键合、价态）并可用 SMILES 表示，表明拓扑多样性。
• 构象分析揭示超出 QM9 子集的多种独特构象，包括新的拓扑和构象。
• 放松后生成结构的能量落在与 QM9 数据库相同的范围内（大约 -1586 到 -1581 eV）。
• 生成的实例既包括与 QM9 结构接近的结构，也包括新分子，且某些构象在数据库中不存在。