[論文レビュー] Average Case tractability of multivariate approximation with Gaussian kernels

Jia Chen, Heping Wang|arXiv (Cornell University)|Feb 5, 2018

Mathematical Approximation and Integration参考文献 14被引用数 3

ひとこと要約

本稿は、ガウスカーネルを用いた多変数近似の平均的設定において、さまざまなトラクタビリティの概念——特に(s,t)-弱トラクタビリティおよび指数的収束トラクタビリティ——の必要十分条件を確立する。トラクタビリティが成立するための条件は、$ \lim_{j\to\infty} j^{1-t} \gamma_j^2 \ln^+ \gamma_j^{-2} = 0$ であり、高次元における効率的な近似に必要な形状パラメータ$ \gamma_j^2$ の逓減率を明確に特定している。

ABSTRACT

We study the problem of approximating functions of $d$ variables in the average case setting for the $L_2$ space $L_{2,d}$ with the standard Gaussian weight equipped with a zero-mean Gaussian measure. The covariance kernel of this Gaussian measure takes the form of a Gaussian kernel with non-increasing positive shape parameters $γ_j^2$ for $j = 1, 2, \dots, d$. The error of approximation is defined in the norm of $L_{2,d}$. We study the average case error of algorithms that use at most $n$ arbitrary continuous linear functionals. The information complexity $n(\varepsilon, d)$ is defined as the minimal number of linear functionals which are needed to find an algorithm whose average case error is at most $\varepsilon$. We study different notions of tractability or exponentially-convergent tractability (EC-tractability) which the information complexity $n(\varepsilon, d)$ describe how behaves as a function of $d$ and $\varepsilon^{-1}$ or as one of $d$ and $(1+\ln\varepsilon^{-1})$. We find necessary and sufficient conditions on various notions of tractability and EC-tractability in terms of shape parameters. In particular, for any positive $s>0$ and $t\in(0,1)$ we obtain that the sufficient and necessary condition on $γ^2_ j$ for which $$\lim_{d+\varepsilon^{-1} o\infty}\frac{n(\varepsilon,d)}{\varepsilon^{-s}+d^t}=0$$ holds is $$ \lim_{j o \infty}j^{1-t}γ_j^2\,\ln^+ γ_j^{-2}=0,$$where $\ln^+ x=\max(1,\ln x)$.

研究の動機と目的

• ガウス測度と可分なガウス共分散カーネルを備えた$L_{2,d}$における多変数近似の平均的トラクタビリティを分析すること。
• 情報複雑度$n(\varepsilon,d)$が$d$および$\varepsilon^{-1}$に関してゆっくりと増加する条件を特定すること。
• さまざまなトラクタビリティ概念、特に(s,t)-弱トラクタビリティおよび指数的収束トラクタビリティ（EC-トラクタビリティ）の必要十分条件を確立すること。
• 高次元設定におけるトラクタビリティに必要な形状パラメータ$\gamma_j^2$の逓減率を特徴づけること。

提案手法

• $L_{2,d}$上に零平均ガウス測度と可分なガウス共分散カーネルを備えた平均的設定において、多変数近似問題を定式化する。
• $L_2$ノルムを用いて平均的誤差を定義し、共分散作用素の固有値を用いて$n$番目の最小誤差$e(n,d)$を特徴づける。
• 共分散カーネルのスペクトル分解を用いて、形状パラメータ$\gamma_j^2$の関数として情報複雑度$n(\varepsilon,d)$の上限を導出する。
• 漸近的解析とStolzの定理を用い、$\ln n(\varepsilon,d)$の$d^t$および$(1+\ln \varepsilon^{-1})^s$に対する増加度を評価する。
• 形状パラメータ$\gamma_j^2$の逓減と$\sum_{k=1}^d \lambda_{d,k}^{1-s_d}$の挙動の分析を通じて、(s,t)-弱トラクタビリティの必要十分条件を導出する。
• 誤差および複雑度に対する対数的および指数的バインドを用い、$\ln^+ x = \max(1, \ln x)$を含む不等式を活用する。

実験結果

リサーチクエスチョン

• RQ1 形状パラメータ$\gamma_j^2$にどのような条件が課されると、情報複雑度$n(\varepsilon,d)$が$d$および$\varepsilon^{-1}$に関してゆっくりと増加するか？
• RQ2 (s,t)-弱トラクタビリティ、すなわち$\ln n(\varepsilon,d)$が$\varepsilon^{-s} + d^t$より遅く増加する条件は何か？
• RQ3 問題が次元の呪いを回避するのはどのような場合か、すなわち$n(\varepsilon,d)$が$d$に関して指数関数的でないのはいつか？
• RQ4 形状パラメータ$\gamma_j^2$の逓減率は、指数的収束トラクタビリティ（EC-トラクタビリティ）の存在にどのように影響するか？

主な発見

• (s,t)-弱トラクタビリティの必要十分条件は、任意の$s>0$および$t\in(0,1)$に対して、$\lim_{j\to\infty} j^{1-t} \gamma_j^2 \ln^+ \gamma_j^{-2} = 0$ である。
• $\lim_{j\to\infty} \gamma_j^2 > 0$ であれば、問題は次元の呪いに見舞われ、ある$A>0$に対して$n(\varepsilon,d) \geq (e^A)^d$ が成り立つ。
• 指数的収束（EC）トラクタビリティが成立するのは、$\lim_{j\to\infty} \gamma_j^2 = 0$ のときに限られ、この条件は$s \geq 1$のときEC-弱トラクタビリティに対しても必要十分である。
• $s>1$および$t<1$のとき、EC-$(s,t)$-弱トラクタビリティが成立するのは、$\lim_{j\to\infty} j^{1-t} \gamma_j^2 \ln^+ \gamma_j^{-2} = 0$ のときに限られる。
• 本稿では、EC-トラクタビリティに関して、最悪ケースと平均的設定のトラクタビリティ結果が同値であることを確立し、既知の最悪ケースの結果を平均的設定へと拡張している。
• 分析により、(s,t)-弱トラクタビリティを達成するためには、$\gamma_j^2$が$j^{t-1}/\ln^+ \gamma_j^{-2}$より速く逓減する必要があることが確認された。