[论文解读] Learning multivariate functions with low-dimensional structures using polynomial bases

Daniel Potts, Michael Schmischke|arXiv (Cornell University)|Dec 6, 2019

Probabilistic and Robust Engineering Design参考文献 38被引用 13

一句话总结

本文提出了一种基于多项式基和ANOVA分解的方法，用于通过低维结构近似高维函数。通过利用稀疏ANOVA项和快速变换，该方法实现了高精度的散乱数据近似，并具备可解释性，在d=10时Friedman测试函数的中位均方误差（MSE）低于1.2，在d=4时为17.22×10⁻³，达到当前最优性能。

ABSTRACT

In this paper we propose a method for the approximation of high-dimensional functions over finite intervals with respect to complete orthonormal systems of polynomials. An important tool for this is the multivariate classical analysis of variance (ANOVA) decomposition. For functions with a low-dimensional structure, i.e., a low superposition dimension, we are able to achieve a reconstruction from scattered data and simultaneously understand relationships between different variables.

研究动机与目标

• 解决高维散乱数据近似中的维度灾难问题。
• 通过ANOVA分解识别重要变量及其相互作用，实现可解释建模。
• 开发一种快速、稳定的算法，利用正交多项式基近似具有低维结构的函数。
• 提供一个同时实现函数近似并揭示其结构依赖关系的框架。

提出的方法

• 使用ANOVA分解将d元函数按变量子集分解为正交项。
• 在加权L2空间中使用完备或正交多项式基（如切比雪夫多项式）表示函数。
• 应用快速多项式变换和非等距余弦变换，以O(N^d log^d N + M)的运算量高效计算部分和。
• 通过捕获低复杂度相互作用的稀疏索引集I截断ANOVA分解。
• 利用分组变换求解最小二乘问题，从散乱数据中计算基系数。
• 使用全局敏感性指数识别并验证重要的ANOVA项。

实验结果

研究问题

• RQ1 ANOVA分解能否有效从散乱数据中揭示高维函数的低维结构？
• RQ2 如何利用快速变换使高维多项式近似在计算上变得可行？
• RQ3 ANOVA项中的稀疏性在多大程度上能提高近似精度并减少数据需求？
• RQ4 与现有机器学习模型相比，该方法在基准函数上的精度和可解释性表现如何？

主要发现

• 在Friedman 1（d=10）的100组测试集中，该方法的中位均方误差（MSE）为1.17，优于支持向量机、线性模型、神经网络和随机森林。
• 在Friedman 2（d=10）中，中位MSE为16.09×10³，低于表3中列出的所有基准方法。
• 在Friedman 3（d=4）中，中位MSE为17.22×10⁻³，再次优于所有对比模型。
• 通过敏感性指数与阈值化处理，该方法成功恢复了所有三个Friedman函数的真实活跃ANOVA项（U*₁, U*₂, U*₃）。
• 该方法在100组随机节点与测试集对中表现出稳健性，各次实验的中位误差保持一致。
• 快速变换的使用实现了高效评估与系数计算，其性能随维度和次数的增加而良好扩展。