[논문 리뷰] The recovery of ridge functions on the hypercube suffers from the curse of dimensionality

Benjamin Doerr, Sebastian Mayer|arXiv (Cornell University)|2019. 03. 25.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 5

한 줄 요약

이 논문은 Lipschitz-정규성(profile)을 가진 릿지 함수를 초입방체 $[-1,1]^d$에서 복원하는 데 있어 $L_∞$-노름에서 조건부 차원의 저주(curse of dimensionality)가 발생함을 보여준다. 이는 랜덤화 알고리즘을 사용하는 경우에도 마찬가지로 적용된다. 그러나 릿지 벡터 $a$가 근사적으로 흐문(sparse)하다면(즉, 몇몇 성분만 지배적이라면), 문제는 약한 추적 가능성(weakly tractable)이 되며, 프로파일 $g$의 충분한 정규성 조건 하에서 차원의 저주를 피할 수 있다. 이는 릿지 벡터의 구조에 따라 복원이 추적 가능하거나 비추적 가능해지는 정확한 임계점(threshold)을 규명한다.

ABSTRACT

A multivariate ridge function is a function of the form $f(x) = g(a^{\\scriptscriptstyle T} x)$, where $g$ is univariate and $a \\in \\mathbb{R}^d$. We show that the recovery of an unknown ridge function defined on the hypercube $[-1,1]^d$ with Lipschitz-regular profile $g$ suffers from the curse of dimensionality when the recovery error is measured in the $L_\\infty$-norm, even if we allow randomized algorithms. If a limited number of components of $a$ is substantially larger than the others, then the curse of dimensionality is not present and the problem is weakly tractable provided the profile $g$ is sufficiently regular.

연구 동기 및 목표

• 초입방체에서의 릿지 함수 복원 문제에 대해 $L_\infty$-노름 오차 하에서 고차원에서의 추적 가능성 여부를 근본적으로 다룬다.
• 높은 차원에서도 차원의 저주를 피할 수 있는 조건을 규명한다.
• 릿지 벡터의 흐문성과 프로파일의 정규성에 따른 정보 복잡도 정보를 조사한다.
• 일반적인 릿지 함수 설정 하에서 랜덤화 알고리즘이 차원의 저주를 극복할 수 있는지 확인한다.
• 릿지 벡터에 대한 구조적 가정에 기반해 비추적 가능성에서 약한 추적 가능성으로의 전이를 특성화한다.

제안 방법

• 논문은 초입방체 $[-1,1]^d$에서 릿지 함수 $f(x) = g(a^\top x)$를 복원하는 데 있어 정보 복잡도 $n(\varepsilon, F_d)$를 분석한다. 여기서 $g \in B^{\mathrm{Lip}(r)}$ 이고 $\|a\|_1 \leq 1$이다.
• 샘플링된 값으로부터 $g$를 근사화하는 데에 스퍼링 기반의 준보간법(quasi-interpolants) $Q_h$를 사용하여 오차를 제한한다.
• 함수 $g$와 그 도함수의 호일더 연속성과 리프시츠 정규성을 적용하여, 샘플 수 $n$에 의존하는 오차 한계를 유도한다.
• 근사 오차를 세 부분으로 분해하여 분석한다: $g$의 근사 오차, 릿지 벡터의 부호 불확실성, 벡터 추정 오차.
• 반복 개선과 격자 기반 샘플링을 활용하여 $\|\widehat{a} - a/\|a\|_1\|_1$의 오차에 대한 한계를 도출한다.
• 벡터 $a$가 근사적으로 흐문(즉, $\|a\|_p \leq 1$ 이고 $p \in (0,1]$) 경우, 오차가 $n$에 대해 다항식적으로 감소함을 증명하여 $d$에 대한 지수적 의존성을 피한다.

실험 결과

연구 질문

• RQ1 초입방체에서의 릿지 함수 복원은 $L_\infty$-노름에서 차원의 저주를 겪는가?
• RQ2 랜덤화 알고리즘이 릿지 함수 복원에서 차원의 저주를 극복할 수 있는가?
• RQ3 릿지 벡터 $a$에 대해 어떤 구조적 가정 하에서 차원의 저주가 사라지는가?
• RQ4 프로파일 $g$의 정규성은 복원 문제의 추적 가능성에 어떤 영향을 미치는가?
• RQ5 릿지 벡터의 흐문성에 기반해 비추적 가능성에서 약한 추적 가능성으로의 전이 임계점이 존재하는가?

주요 결과

• Lipschitz-정규성 프로파일을 가진 릿지 함수 복원은 $L_\infty$-노름에서 랜덤화 알고리즘을 사용하더라도 차원의 저주를 겪는다.
• 정보 복잡도는 차원에 따라 지수적으로 증가한다: 모든 $\varepsilon \in (0,1)$ 및 $d \in \mathbb{N}$ 에 대해 $n(\varepsilon, F_d) \geq 2^{\lfloor d/2\rfloor}$ 이며, 이는 최악의 경우 비추적 가능성을 확인한다.
• 릿지 벡터 $a$가 근사적으로 흐문(즉, $\|a\|_p \leq 1$ 이고 $p \in (0,1]$ 이며 $\|a\|_1 \leq 1$) 경우, 문제는 약한 추적 가능성으로 된다.
• 근사적 흐문성 조건 하에서 오차는 $n$에 대해 $O(n^{-r})$ 비율로 감소하며, $r$ 이 고정되어 있을 경우 다항식 추적 가능성으로 간주된다.
• 근사 오차는 세 부분으로 분해되며: $g$의 근사 오차, 부호 불확실성, 벡터 추정 오차; 각각 $\varepsilon/3$ 이내로 제한되며, $n_g$ 및 $n_b$ 개의 샘플을 사용한다.
• 정규화된 릿지 벡터 $\bar{a} = a/\|a\|_1$의 추정은 $n_b$ 개의 샘플로 $\|\gamma\widehat{a} - \bar{a}\|_1 \leq \varepsilon/3$ 를 확보하여 전체 오차 제어를 보장한다.