[论文解读] Gradient-Based Training and Pruning of Radial Basis Function Networks with an Application in Materials Physics

Jussi Määttä, Viacheslav Bazaliy+4 more|arXiv (Cornell University)|Apr 6, 2020

Machine Learning in Materials Science参考文献 29被引用 20

一句话总结

该论文提出了一种用于径向基函数网络（RBFN）的完全基于梯度的训练与剪枝框架，实现了材料物理中的高预测精度与可解释性。通过在伯努利、均匀或高斯混合输入假设下，利用闭式目标函数对较小的RBFN进行优化，以全局近似一个大型过参数化RBFN，该方法在铜表面扩散数据集上实现了最先进性能，同时在无需先验几何知识的情况下揭示了具有物理意义的原子模式。

ABSTRACT

Many applications, especially in physics and other sciences, call for easily interpretable and robust machine learning techniques. We propose a fully gradient-based technique for training radial basis function networks with an efficient and scalable open-source implementation. We derive novel closed-form optimization criteria for pruning the models for continuous as well as binary data which arise in a challenging real-world material physics problem. The pruned models are optimized to provide compact and interpretable versions of larger models based on informed assumptions about the data distribution. Visualizations of the pruned models provide insight into the atomic configurations that determine atom-level migration processes in solid matter; these results may inform future research on designing more suitable descriptors for use with machine learning algorithms.

研究动机与目标

• 开发一种可扩展的、完全基于梯度的RBFN训练方法，避免次优的两步训练启发式方法。
• 通过将大型RBFN剪枝为紧凑且有意义的模型，解决高维原子环境回归中的可解释性挑战。
• 通过从二元晶格表示中学习不变模式，实现在稀疏数据下的泛化能力。
• 证明RBFN可在保持可解释性的同时，实现与梯度提升树相当的性能，通过系统性剪枝实现。
• 通过揭示从原子构型中学到的对称性，指导设计更优的不变描述符。

提出的方法

• 使用PyTorch进行RBFN训练，采用完整的反向传播与现代优化技术（如Adam、学习率调度），以避免陷入局部极小值。
• 通过最小化输入数据分布上的期望差异，推导出用于剪枝的闭式优化准则，而非仅针对训练点。
• 在三种输入分布下制定剪枝目标：伯努利分布（二元晶格位点）、连续均匀分布与高斯混合分布。
• 利用基于伯努利的剪枝目标，将大型RBFN（数千个中心点）缩减至仅16个中心点，同时保持预测精度。
• 将剪枝目标应用于同时优化较小RBFN的所有参数，确保对大模型的全局近似。
• 可视化最终的中心点，识别出所学模式中的三维对称性，尽管模型仅接收展平的二元输入向量。

实验结果

研究问题

• RQ1 完全基于梯度的RBFN训练方法是否能在材料物理数据上实现与最先进模型（如梯度提升决策树）相当的预测性能？
• RQ2 如何对RBFN进行剪枝，以生成紧凑且可解释的模型，同时保留大型过参数化网络的预测行为？
• RQ3 当输入数据遵循特定分布（如伯努利或高斯混合分布）时，能否推导出用于RBFN剪枝的闭式优化准则？
• RQ4 在仅使用二元晶格表示进行训练的情况下，RBFN能否学习到无需先验几何归纳偏差的、具有物理意义的三维对称性？
• RQ5 剪枝后的RBFN中心点在多大程度上能揭示与设计更不变、更高效的原子尺度机器学习描述符相关的模式？

主要发现

• 所提出的基于梯度的RBFN训练方法在铜表面扩散数据集上的预测性能与经过超参数优化的梯度提升决策树相当。
• 利用基于伯努利的剪枝目标，成功将RBFN从数千个中心点剪枝至仅16个中心点，形成高度紧凑且可解释的模型。
• 剪枝后中心点的可视化揭示了与物理上有意义的三维对称性（如反射与旋转不变性）相对应的模式，尽管模型仅接收二元输入表示。
• 通过最小化数据分布上的期望差异而非仅训练点上的差异，剪枝后的RBFN保持了强大的泛化性能。
• 该方法表明，具有数千个中心点的大型RBFN可被训练而不会过拟合，因此剪枝主要作为可解释性工具而非正则化手段。
• 输入权重中学习到的模式为设计新型对称性不变描述符提供了有用模板，未来或可消除对数据增强或代表性采样的需求。