[论文解读] Universal approximation of symmetric and anti-symmetric functions

Jiequn Han, Yingzhou Li+4 more|arXiv (Cornell University)|Dec 4, 2019

Approximation Theory and Sequence Spaces被引用 7

一句话总结

本文首次提出了针对对称函数和反对称函数的显式通用逼近定理，利用神经网络实现，并给出了关于维度和目标精度的可证明误差界。通过范德蒙德行列式和置换等变映射构建逼近，尽管面临维度灾难，仍实现了具有显式参数数量边界的通用逼近。

ABSTRACT

We consider universal approximations of symmetric and anti-symmetric functions, which are important for applications in quantum physics, as well as other scientific and engineering computations. We give constructive approximations with explicit bounds on the number of parameters with respect to the dimension and the target accuracy $ε$. While the approximation still suffers from the curse of dimensionality, to the best of our knowledge, these are the first results in the literature with explicit error bounds for functions with symmetry or anti-symmetry constraints.

研究动机与目标

• 建立对称和反对称函数的通用逼近定理，并提供显式误差界。
• 解决科学计算中对称约束下神经网络逼近缺乏理论保证的问题。
• 提供可构造的神经网络架构，以强制实现对称或反对称性，同时保持表达能力。
• 分析在维度灾难下此类逼近的参数效率和可扩展性。

提出的方法

• 基于特征变量和置换不变映射的表格化策略，构建对称逼近。
• 采用置换等变映射 $Y^Z$，确保逼近过程中对称性约束得以保持。
• 使用范德蒙德行列式作为反对称函数的通用试探函数，实现对反对称波函数的显式逼近。
• 推导出在误差 $\epsilon$ 范围内逼近所需的参数数量的显式边界，其依赖于维度 $d$、粒子数 $N$ 和精度 $\epsilon$。
• 应用指示函数以在逼近架构中强制实现对称性约束。
• 提出一种变分蒙特卡洛应用的试探波函数形式 $f(X) = \sum_{k=1}^K U^k(X) \prod_{i<j}(y^k_i(X) - y^k_j(X))$。

实验结果

研究问题

• RQ1 在高维设置下，能否实现对对称和反对称函数的通用逼近，并提供显式误差界？
• RQ2 为在给定精度 $\epsilon$ 内逼近对称或反对称函数，神经网络所需的最少参数数量是多少？
• RQ3 对称性约束如何影响神经网络逼近的泛化能力和参数效率？
• RQ4 能否在不依赖不连续排序层的情况下，构建连续且保持对称性的逼近？
• RQ5 在量子多体问题中，范德蒙德行列式作为反对称函数的通用试探函数起什么作用？

主要发现

• 本文首次建立了对称和反对称函数的显式通用逼近定理，且在 $\epsilon$、$N$ 和 $d$ 方面具有可证明的误差界。
• 对于对称函数，所需参数数量按 $\mathcal{O}(2^N / \epsilon^{Nd} N!)$ 缩放，反映出维度灾难的影响。
• 对于反对称函数，该构造使用范德蒙德行列式作为通用试探函数，实现了具有显式参数边界的通用逼近。
• 该逼近方法依赖于置换等变映射和表格化策略，确保在整个网络中保持对称性。
• 该方法避免了排序层带来的不连续性，尽管连续变体因强节点匹配假设而留待未来工作。
• 所提出的试探函数 $f(X) = \sum_{k=1}^K U^k(X) \prod_{i<j}(y^k_i(X) - y^k_j(X))$ 在变分蒙特卡洛中被证明是斯莱特行列式的一种可行且高效的替代方案。