[논문 리뷰] High-Dimensional Function Approximation: Breaking the Curse with Monte Carlo Methods

Robert J. Kunsch|arXiv (Cornell University)|2017. 04. 26.

Mathematical Approximation and Integration참고 문헌 1인용 수 8

한 줄 요약

이 논문은 고차원 함수 근사에서 차원의 귀환 문제를 극복하기 위해 몬테카를로 방법을 사용하는 것을 조사한다. 무작위화 알고리즘에 대한 이론적 하한을 수립하고, 일부 경우에서는 무작위화가 차원의 귀환 문제를 해결할 수 있지만 다른 경우에서는 본질적으로 제한되어 있음을 보여주며, 고차원 환경에서 결정론적 접근과 무작위화 접근 간의 날카운 복잡도 비교를 제공한다.

ABSTRACT

In this dissertation we study the tractability of the information-based complexity $n(\varepsilon,d)$ for $d$-variate function approximation problems. In the deterministic setting for many unweighted problems the curse of dimensionality holds, that means, for some fixed error tolerance $\varepsilon>0$ the complexity $n(\varepsilon,d)$ grows exponentially in $d$. For integration problems one can usually break the curse with the standard Monte Carlo method. For function approximation problems, however, similar effects of randomization have been unknown so far. The thesis contains results on three more or less stand-alone topics. For an extended five page abstract, see the section "Introduction and Results". Chapter 2 is concerned with lower bounds for the Monte Carlo error for general linear problems via Bernstein numbers. This technique is applied to the $L_{\infty}$-approximation of certain classes of $C^{\infty}$-functions, where it turns out that randomization does not affect the tractability classification of the problem. Chapter 3 studies the $L_{\infty}$-approximation of functions from Hilbert spaces with methods that may use arbitrary linear functionals as information. For certain classes of periodic functions from unweighted periodic tensor product spaces, in particular Korobov spaces, we observe the curse of dimensionality in the deterministic setting, while with randomized methods we achieve polynomial tractability. Chapter 4 deals with the $L_1$-approximation of monotone functions via function values. It is known that this problem suffers from the curse in the deterministic setting. An improved lower bound shows that the problem is still intractable in the randomized setting. However, Monte Carlo breaks the curse, in detail, for any fixed error tolerance $\varepsilon>0$ the complexity $n(\varepsilon,d)$ grows exponentially in $\sqrt{d}$ only.

연구 동기 및 목표

• 고차원 함수 근사 문제의 정보 복잡도를 결정론적 알고리즘과 무작위화 알고리즘의 관점에서 분석하기.
• 특히 결정론적 방법이 실패하는 경우에 무작위화가 차원의 귀환 문제를 극복할 수 있는지 조사하기.
• 베르슈타인 수를 사용하여 몬테카를로 알고리즘의 오차에 대한 날카로운 하한을 유도함으로써 무작위화의 능력에 대한 한계를 설정하기.
• 무작위화 알고리즘이 차원의 귀환 문제를 극복하는 경우를 탐색하며, 구축 가능한 예시와 복잡도 분석을 제공하기.
• 무작위화가 귀환 문제를 제거하지만 문제는 여전히 계산적으로 어려운 특정 문제를 검토함으로써, 가용성과 실용적 실행 가능성 사이의 차이를 부각하기.

제안 방법

• 일반 노름 공간에서 선형 함수 근사 문제에 대해 무작위화된 선형 근사 문제의 오차에 대한 하한을 도출하기 위해 베르슈타인 수를 사용한다.
• 정보기반 복잡도의 프레임워크를 사용하여, 몬테카를로 알고리즘의 복잡도를 예측된 최악의 경우 오차와 初기 오차를 비교함으로써 분석한다.
• 입력 함수 공간에 대한 일반적인 가정 하에 무작위화 알고리즘의 예측 오차를 구속하기 위해 확률론적 기법과 농도 부등식을 적용한다.
• 특정 함수 클래스(예: 소볼레프 공간 및 RKHS)에서 개선된 수렴 속도를 달성하는 명시적 무작위화 알고리즘을 구축한다.
• 오차 ρ를 달성하기 위해 필요한 함수 평가 수를 측정하는 양수 $ n^{ ext{det}}(\varepsilon,d) $ 와 $ n^{ ext{ran}}(\varepsilon,d) $ 를 통해 결정론적 및 무작위화 복잡도를 비교한다.
• 선형 함수형의 행동과 함수 공간의 구조를 분석하기 위해 함수해석학의 도구, 특히 연산자 노름, 추적, 임bedding을 활용한다.

실험 결과

연구 질문

• RQ1 몬테카를로 방법은 결정론적 방법에 비해 고차원 함수 근사의 정보 복잡도를 상당히 감소시킬 수 있는가?
• RQ2 무작위화가 함수 근사 문제에서 차원의 귀환 문제를 극복할 수 있는 조건은 무엇인가?
• RQ3 무작위화 알고리즘의 고차원 환경에서의 본질적 한계는 무엇이며, 하한을 통해 어떻게 정량화할 수 있는가?
• RQ4 어떤 함수 공간에서 무작위화는 가용성 또는 강력한 가용성 복잡도를 가져오며, 언제 결정론적 방법보다 향상되지 않는가?
• RQ5 함수 공간의 구조(예: 소볼레프 공간, RKHS)는 무작위화 알고리즘이 차원의 귀환 문제를 극복하는 데 얼마나 효과적인가에 영향을 미치는가?

주요 결과

• 일반적인 선형 근사 문제에 대해, 몬테카를로 방법은 최악의 경우 베르슈타인 수 하한을 통해 결정론적 방법보다 로그 인자 이내로만 승리할 수 있다.
• 특정 함수 클래스—예를 들어 일부 소볼레프 공간 및 재생 커널 힐버트 공간—에서는 무작위화 알고리즘이 강력한 가용성 복잡도를 달성하며, 필요한 샘플 수가 $ 1/\rho $ 에 대해 다항식적으로 증가하고 차원 $ d $ 와 독립적으로 유지된다.
• 논문은 일부 문제에 대해 심지어 무작위화 알고리즘도 차원의 귀환 문제를 앓으며, 복잡도가 $ d $ 에 대해 지수적으로 증가함을 증명함으로써, 무작위화가 보편적인 치료법이 아니라는 것을 입증한다.
• $ L_\rho $-근사 문제에 대해 재생 커널 힐버트 공간 단위 구의 함수 근사에서, 무작위화 알고리즘은 특정 부드러움 조건 하에 $ n^\text{ran}(\rho,d) \triangleq O(\rho^{-2}) $ 를 달성하며, 이는 $ d $ 와 무관하다.
• 분석 결과, 몬테카를로 알고리즘의 예측 오차는 차원과 함수 공간의 부드러움에 따라 달라지는 요소에 의해 스케일링된 초기 오차의 배수로 아래에서 유계이다.
• 논문은 적응형 또는 가변 카디널리티 알고리즘의 사용이 하한을 상당히 향상시키지 못함을 입증하며, 이는 무작위화의 한계가 광범위한 알고리즘 클래스에 걸쳐 강인함을 나타낸다.