[论文解读] Average Case tractability of multivariate approximation with Gaussian kernels

Jia Chen, Heping Wang|arXiv (Cornell University)|Feb 5, 2018

Mathematical Approximation and Integration参考文献 14被引用 3

一句话总结

本文在平均情形设定下，针对使用高斯核的多变量逼近问题，建立了各种可 tractability 概念（特别是 (s,t)-弱可 tractability 和指数收敛可 tractability）的必要且充分条件。结果表明，当且仅当 $\lim_{j\to\infty} j^{1-t} \gamma_j^2 \ln^+ \gamma_j^{-2} = 0$ 时，可 tractability 成立，从而对高维情形下实现高效逼近所需的形状参数 $\gamma_j^2$ 的衰减速率给出了精确刻画。

ABSTRACT

We study the problem of approximating functions of $d$ variables in the average case setting for the $L_2$ space $L_{2,d}$ with the standard Gaussian weight equipped with a zero-mean Gaussian measure. The covariance kernel of this Gaussian measure takes the form of a Gaussian kernel with non-increasing positive shape parameters $γ_j^2$ for $j = 1, 2, \dots, d$. The error of approximation is defined in the norm of $L_{2,d}$. We study the average case error of algorithms that use at most $n$ arbitrary continuous linear functionals. The information complexity $n(\varepsilon, d)$ is defined as the minimal number of linear functionals which are needed to find an algorithm whose average case error is at most $\varepsilon$. We study different notions of tractability or exponentially-convergent tractability (EC-tractability) which the information complexity $n(\varepsilon, d)$ describe how behaves as a function of $d$ and $\varepsilon^{-1}$ or as one of $d$ and $(1+\ln\varepsilon^{-1})$. We find necessary and sufficient conditions on various notions of tractability and EC-tractability in terms of shape parameters. In particular, for any positive $s>0$ and $t\in(0,1)$ we obtain that the sufficient and necessary condition on $γ^2_ j$ for which $$\lim_{d+\varepsilon^{-1} o\infty}\frac{n(\varepsilon,d)}{\varepsilon^{-s}+d^t}=0$$ holds is $$ \lim_{j o \infty}j^{1-t}γ_j^2\,\ln^+ γ_j^{-2}=0,$$where $\ln^+ x=\max(1,\ln x)$.

研究动机与目标

• 分析在 $L_{2,d}$ 中使用高斯测度和协方差核的平均情形下多变量逼近的可 tractability。
• 确定信息复杂度 $n(\varepsilon,d)$ 相对于 $d$ 和 $\varepsilon^{-1}$ 缓慢增长的条件。
• 建立各种可 tractability 概念（包括 (s,t)-弱可 tractability 和指数收敛可 tractability（EC-可 tractability））的必要且充分条件。
• 刻画高维设定下实现可 tractability 所需的形状参数 $\gamma_j^2$ 的衰减速率。

提出的方法

• 在 $L_{2,d}$ 上使用零均值高斯测度和可分高斯协方差核，建立多变量逼近问题的平均情形设定。
• 利用 $L_2$-范数定义平均情形误差，并通过协方差算子的特征值刻画第 $n$ 个最小误差 $e(n,d)$。
• 利用协方差核的谱分解，基于形状参数 $\gamma_j^2$ 推导信息复杂度 $n(\varepsilon,d)$ 的上界。
• 应用渐近分析和 Stolz 定理，评估 $\ln n(\varepsilon,d)$ 相对于 $d^t$ 和 $(1+\ln \varepsilon^{-1})^s$ 的增长行为。
• 通过分析 $\gamma_j^2$ 的衰减行为以及 $\sum_{k=1}^d \lambda_{d,k}^{1-s_d}$ 的行为，推导出 (s,t)-弱可 tractability 的必要且充分条件。
• 利用对数和指数形式的误差与复杂度界，结合涉及 $\ln^+ x = \max(1, \ln x)$ 的不等式。

实验结果

研究问题

• RQ1 形状参数 $\gamma_j^2$ 需满足何种条件，才能确保信息复杂度 $n(\varepsilon,d)$ 相对于 $d$ 和 $\varepsilon^{-1}$ 缓慢增长？
• RQ2 在何种情况下问题表现出 (s,t)-弱可 tractability，即 $\ln n(\varepsilon,d)$ 的增长慢于 $\varepsilon^{-s} + d^t$？
• RQ3 在何种条件下问题可避免维度灾难，即 $n(\varepsilon,d)$ 不是 $d$ 的指数函数？
• RQ4 形状参数 $\gamma_j^2$ 的衰减速率如何影响指数收敛可 tractability（EC-可 tractability）的存在性？

主要发现

• (s,t)-弱可 tractability 的必要且充分条件为：对任意 $s>0$ 和 $t\in(0,1)$，有 $\lim_{j\to\infty} j^{1-t} \gamma_j^2 \ln^+ \gamma_j^{-2} = 0$。
• 若 $\lim_{j\to\infty} \gamma_j^2 > 0$，则问题遭受维度灾难，存在 $A>0$ 使得 $n(\varepsilon,d) \geq (e^A)^d$。
• 指数收敛（EC）可 tractability 成立当且仅当 $\lim_{j\to\infty} \gamma_j^2 = 0$，且当 $s \geq 1$ 时，该条件也是 EC-弱可 tractability 的必要且充分条件。
• 当 $s>1$ 且 $t<1$ 时，EC-$(s,t)$-弱可 tractability 成立当且仅当 $\lim_{j\to\infty} j^{1-t} \gamma_j^2 \ln^+ \gamma_j^{-2} = 0$。
• 本文建立了 EC-可 tractability 在最坏情形与平均情形下结果的等价性，将已知的最坏情形结果推广至平均情形设定。
• 分析结果确认，为实现 (s,t)-弱可 tractability，$\gamma_j^2$ 的衰减速率必须快于 $j^{t-1}/\ln^+ \gamma_j^{-2}$。