[论文解读] High-Dimensional Function Approximation: Breaking the Curse with Monte Carlo Methods

Robert J. Kunsch|arXiv (Cornell University)|Apr 26, 2017

Mathematical Approximation and Integration参考文献 1被引用 8

一句话总结

本文研究了蒙特卡洛方法在高维函数逼近中克服维度灾难的潜力。它建立了随机算法的理论下界，并表明尽管在某些情况下随机化可以打破维度灾难，但在其他情况下其根本上受到限制，从而在高维设置下对确定性与随机化方法的复杂度提供了精确的比较。

ABSTRACT

In this dissertation we study the tractability of the information-based complexity $n(\varepsilon,d)$ for $d$-variate function approximation problems. In the deterministic setting for many unweighted problems the curse of dimensionality holds, that means, for some fixed error tolerance $\varepsilon>0$ the complexity $n(\varepsilon,d)$ grows exponentially in $d$. For integration problems one can usually break the curse with the standard Monte Carlo method. For function approximation problems, however, similar effects of randomization have been unknown so far. The thesis contains results on three more or less stand-alone topics. For an extended five page abstract, see the section "Introduction and Results". Chapter 2 is concerned with lower bounds for the Monte Carlo error for general linear problems via Bernstein numbers. This technique is applied to the $L_{\infty}$-approximation of certain classes of $C^{\infty}$-functions, where it turns out that randomization does not affect the tractability classification of the problem. Chapter 3 studies the $L_{\infty}$-approximation of functions from Hilbert spaces with methods that may use arbitrary linear functionals as information. For certain classes of periodic functions from unweighted periodic tensor product spaces, in particular Korobov spaces, we observe the curse of dimensionality in the deterministic setting, while with randomized methods we achieve polynomial tractability. Chapter 4 deals with the $L_1$-approximation of monotone functions via function values. It is known that this problem suffers from the curse in the deterministic setting. An improved lower bound shows that the problem is still intractable in the randomized setting. However, Monte Carlo breaks the curse, in detail, for any fixed error tolerance $\varepsilon>0$ the complexity $n(\varepsilon,d)$ grows exponentially in $\sqrt{d}$ only.

研究动机与目标

• 分析在确定性与随机化算法下高维函数逼近问题的信息复杂度。
• 研究随机化是否能在确定性方法失效的情况下，克服函数逼近中的维度灾难。
• 利用伯恩斯坦数推导蒙特卡洛算法误差的紧下界，确立随机化能力的极限。
• 探索随机化算法打破维度灾难的具体情形，提供构造性例子与复杂度分析。
• 研究一个特定问题：随机化可消除维度灾难，但问题仍具计算困难性，凸显可 tractability 与实际可行性之间的区别。

提出的方法

• 使用伯恩斯坦数推导一般赋范空间中随机线性函数逼近问题误差的下界。
• 通过信息复杂度框架，比较期望最坏情况误差与初始误差，分析蒙特卡洛算法的复杂度。
• 应用概率技术与集中不等式，在输入函数空间的一般假设下，界定随机化算法的期望误差。
• 构造显式随机算法，在特定函数类（如索博列夫空间与再生核希尔伯特空间）中实现改进的收敛速率。
• 通过量 $ n^{ ext{det}}(\varepsilon,d) $ 与 $ n^{ ext{ran}}(\varepsilon,d) $ 比较确定性与随机化复杂度，衡量达到误差 $ \rho $ 所需的函数求值次数。
• 运用泛函分析工具，包括算子范数、迹与嵌入，分析函数空间的结构及线性泛函的行为。

实验结果

研究问题

• RQ1 与确定性方法相比，蒙特卡洛方法能否显著降低高维函数逼近的信息复杂度？
• RQ2 在何种条件下，随机化可打破函数逼近问题中的维度灾难？
• RQ3 随机化算法在高维设置中的根本局限性是什么？这些局限性如何通过下界进行量化？
• RQ4 在哪些函数空间中，随机化可导致可 tractable 或强可 tractable 复杂度，而在何时无法改善确定性方法？
• RQ5 函数空间的结构（如索博列夫空间、再生核希尔伯特空间）如何影响随机化算法打破维度灾难的有效性？

主要发现

• 对于一般线性逼近问题，蒙特卡洛方法在最坏情况下无法优于确定性算法超过对数因子，该结论由伯恩斯坦数下界证明。
• 存在特定函数类（如某些索博列夫空间与再生核希尔伯特空间），其中随机化算法可实现强可 tractable 复杂度，即所需样本数在 $ 1/\rho $ 上多项式增长，且与维度 $ d $ 无关。
• 本文证明，对于某些问题，即使随机化算法仍受维度灾难影响，其复杂度随 $ d $ 指数级增长，从而确立随机化并非万能解法。
• 对于再生核希尔伯特空间单位球中函数的 $ L_\rho $-逼近问题，若满足一定光滑性条件，随机化算法可打破维度灾难，实现 $ n^\text{ran}(\rho,d) \triangleq O(\rho^{-2}) $，且与 $ d $ 无关。
• 分析表明，蒙特卡洛算法的期望误差下界为初始误差的倍数，该倍数依赖于维度与函数空间的光滑性。
• 本文确立，自适应或可变基数算法的使用不会显著改善下界，表明随机化局限性在广泛算法类中具有鲁棒性。