[论文解读] Additive models in high dimensions

Markus Hegland, Vladimir Pestov|arXiv (Cornell University)|Dec 30, 1999

Mathematical Approximation and Integration参考文献 16被引用 5

一句话总结

本文研究了使用ANOVA分解的高维函数逼近中的加法模型，证明在光滑性条件下，当将函数建模为最多依赖 $m$ 个变量的分量之和时，逼近误差的量级为 $O(n^{-m/2})$。该方法利用结构化的函数分解以缓解维度灾难问题，模拟结果证实了在依赖预测变量情况下的理论误差界。

ABSTRACT

We discuss some aspects of approximating functions on high-dimensional data sets with additive functions or ANOVA decompositions, that is, sums of functions depending on fewer variables each. It is seen that under appropriate smoothness conditions, the errors of the ANOVA decompositions are of order $O(n^{m/2})$ for approximations using sums of functions of up to $m$ variables under some mild restrictions on the (possibly dependent) predictor variables. Several simulated examples illustrate this behaviour.

研究动机与目标

• 通过将高维函数分解为加法分量，解决函数逼近中的维度灾难问题。
• 分析高维设置下ANOVA型加法模型的逼近误差行为。
• 在预测变量可能相关的情况下，建立加法模型的理论误差界。
• 通过合成高维数据的数值模拟验证理论发现。
• 为高维数据分析中的函数逼近提供一种可扩展的框架，使用低阶分量函数。

提出的方法

• 本文采用ANOVA分解，将高维函数表示为依赖于最多 $m$ 个变量的子集的分量函数之和。
• 假设目标函数具有足够的光滑性，并对预测变量的依赖结构施加较弱的限制。
• 在函数分量表现良好且设计点来自可能相关的分布的假设下，使用渐近分析推导误差界。
• 建立了使用最多依赖 $m$ 个变量的函数进行逼近时，误差率阶为 $O(n^{-m/2})$ 的理论结果。
• 在合成数据集上进行模拟，以说明收敛行为并验证理论误差量级。
• 该方法依赖于函数逼近理论，适用于底层函数表现出加法结构的数据集。

实验结果

研究问题

• RQ1 在高维设置下，当使用最多依赖 $m$ 个变量的分量函数时，加法模型的逼近误差率是多少？
• RQ2 预测变量的依赖结构如何影响基于ANOVA的加法逼近的收敛速度？
• RQ3 在何种光滑性条件下，高维加法模型的 $O(n^{-m/2})$ 误差界成立？
• RQ4 是否能通过具有依赖输入的高维数据模拟，对理论误差界进行经验验证？
• RQ5 加法建模在多大程度上缓解了函数逼近中的维度灾难问题？

主要发现

• 在适当的光滑性条件下，使用最多依赖 $m$ 个变量的函数的加法模型，其逼近误差量级为 $O(n^{-m/2})$。
• 即使预测变量相关，只要依赖关系是温和且具有结构的，理论误差界依然成立。
• 模拟结果证实了预测的误差衰减速率，表明在各种高维测试案例中均表现出一致的收敛行为。
• ANOVA分解通过聚焦于低阶交互作用，有效降低了高维函数逼近的复杂度。
• 当输入变量数量超过样本量时，只要底层函数具有稀疏加法结构，该方法依然有效。
• 结果表明，加法模型可在无需完整多变量建模的情况下实现良好的逼近精度，从而降低计算负担。