[논문 리뷰] Average Case tractability of multivariate approximation with Gaussian kernels

Jia Chen, Heping Wang|arXiv (Cornell University)|2018. 02. 05.

Mathematical Approximation and Integration참고 문헌 14인용 수 3

한 줄 요약

이 논문은 다변수 근사 문제에서 가우시안 커널을 사용할 때, 평균 설정에서 다양한 유형의 가속 가능성—특히 (s,t)-약한 가속 가능성과 지수 수렴 가속 가능성—에 대한 必要하고 충분한 조건을 설정한다. 이는 $\lim_{j\to\infty} j^{1-t} \gamma_j^2 \ln^+ \gamma_j^{-2} = 0$임을 보여주며, 고차원에서 효율적인 근사에 필요한 형상 매개변수 $\gamma_j^2$의 감쇠 속도를 정확히 규명한다.

ABSTRACT

We study the problem of approximating functions of $d$ variables in the average case setting for the $L_2$ space $L_{2,d}$ with the standard Gaussian weight equipped with a zero-mean Gaussian measure. The covariance kernel of this Gaussian measure takes the form of a Gaussian kernel with non-increasing positive shape parameters $γ_j^2$ for $j = 1, 2, \dots, d$. The error of approximation is defined in the norm of $L_{2,d}$. We study the average case error of algorithms that use at most $n$ arbitrary continuous linear functionals. The information complexity $n(\varepsilon, d)$ is defined as the minimal number of linear functionals which are needed to find an algorithm whose average case error is at most $\varepsilon$. We study different notions of tractability or exponentially-convergent tractability (EC-tractability) which the information complexity $n(\varepsilon, d)$ describe how behaves as a function of $d$ and $\varepsilon^{-1}$ or as one of $d$ and $(1+\ln\varepsilon^{-1})$. We find necessary and sufficient conditions on various notions of tractability and EC-tractability in terms of shape parameters. In particular, for any positive $s>0$ and $t\in(0,1)$ we obtain that the sufficient and necessary condition on $γ^2_ j$ for which $$\lim_{d+\varepsilon^{-1} o\infty}\frac{n(\varepsilon,d)}{\varepsilon^{-s}+d^t}=0$$ holds is $$ \lim_{j o \infty}j^{1-t}γ_j^2\,\ln^+ γ_j^{-2}=0,$$where $\ln^+ x=\max(1,\ln x)$.

연구 동기 및 목표

• 다변수 근사 문제의 평균 설정에서 $L_{2,d}$ 공간에서 가우시안 측도와 공분산 커널을 사용할 때의 평균 설정 가속 가능성 분석.
• 정보 복잡도 $n(\varepsilon,d)$ 가 $d$와 $\varepsilon^{-1}$에 대해 천천히 증가하는 조건을 규명하는 것.
• (s,t)-약한 가속 가능성과 지수 수렴 가속 가능성(EC-가속 가능성)을 포함한 다양한 가속 가능성 개념에 대한 必요하고 충분한 조건 수립.
• 고차원 설정에서 가속 가능성에 필요한 형상 매개변수 $\gamma_j^2$의 감쇠 속도 특성 규명.

제안 방법

• 분리 가능한 가우시안 공분산 커널을 갖는 $L_{2,d}$ 위의 평균이 0인 가우시안 측도를 사용하여 평균 설정에서 다변수 근사 문제 수립.
• 정보 복잡도 $n(\varepsilon,d)$ 의 상한을 형상 매개변수 $\gamma_j^2$ 에 따라 유도하기 위해 공분산 연산자의 고유값을 통해 $n$-번째 최소 오차 $e(n,d)$ 를 특성화.
• 공분산 커널의 스펙트럼 분해를 활용하여 정보 복잡도 $n(\varepsilon,d)$ 의 상한을 형상 매개변수 $\gamma_j^2$ 에 따라 유도.
• 점근적 분석과 스톨츠 정리를 적용하여 $\ln n(\varepsilon,d)$ 가 $d^t$ 와 $(1+\ln \varepsilon^{-1})^s$ 에 비해 증가하는 방식 평가.
• 형상 매개변수 $\gamma_j^2$ 의 감쇠와 $\sum_{k=1}^d \lambda_{d,k}^{1-s_d}$ 의 행동을 분석하여 (s,t)-약한 가속 가능성에 필요한 충분한 조건 유도.
• 오차 및 복잡도에 대한 로그 및 지수 상한을 활용하여, $\ln^+ x = \max(1, \ln x)$ 를 포함한 부등식 활용.

실험 결과

연구 질문

• RQ1 형상 매개변수 $\gamma_j^2$ 가 어떤 조건을 만족해야 정보 복잡도 $n(\varepsilon,d)$ 가 $d$ 와 $\varepsilon^{-1}$ 에 대해 천천히 증가하는가?
• RQ2 문제가 (s,t)-약한 가속 가능성을 보일 조건은 무엇인가? 즉, $\ln n(\varepsilon,d)$ 가 $\varepsilon^{-s} + d^t$ 보다 느리게 증가하는가?
• RQ3 문제가 차원의 저주를 피하려면 어떤 조건이 필요한가? 즉, $n(\varepsilon,d)$ 가 $d$ 에 대해 지수적으로 증가하지 않는가?
• RQ4 형상 매개변수 $\gamma_j^2$ 의 감쇠 속도는 지수 수렴 가속 가능성(EC-가속 가능성) 존재에 어떤 영향을 미치는가?

주요 결과

• (s,t)-약한 가속 가능성에 대한 必요하고 충분한 조건은 $\lim_{j\to\infty} j^{1-t} \gamma_j^2 \ln^+ \gamma_j^{-2} = 0$ 이며, 이는 임의의 $s>0$ 과 $t\in(0,1)$ 에 대해 성립한다.
• 만약 $\lim_{j\to\infty} \gamma_j^2 > 0$ 이면, 문제는 차원의 저주를 겪으며, 어떤 $A>0$ 에 대해 $n(\varepsilon,d) \geq (e^A)^d$ 를 만족한다.
• 지수 수렴(EC) 가속 가능성은 $\lim_{j\to\infty} \gamma_j^2 = 0$ 인 것과 동치이며, 이 조건은 $s \geq 1$ 일 때 EC-약한 가속 가능성에 대해서도 必요하고 충분하다.
• $s>1$ 이고 $t<1$ 이면, EC-$(s,t)$-약한 가속 가능성은 $\lim_{j\to\infty} j^{1-t} \gamma_j^2 \ln^+ \gamma_j^{-2} = 0$ 이 성립할 때에만 성립한다.
• 이 논문은 EC-가속 가능성에 대해 최악의 경우와 평균 설정의 결과가 동치임을 규명하며, 기존 최악의 경우 결과를 평균 설정으로 확장한다.
• 분석 결과, (s,t)-약한 가속 가능성을 달성하기 위해 $\gamma_j^2$ 가 $j^{t-1}/\ln^+ \gamma_j^{-2}$ 보다 더 빠르게 감쇠해야 함을 확인한다.