[논문 리뷰] Learning Functions of Few Arbitrary Linear Parameters in High Dimensions

Massimo Fornasier, Karin Schnass외 1명|arXiv (Cornell University)|2010. 08. 18.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 5

한 줄 요약

이 논문은 $ k \ll d $ 인 $ k \times d $ 행렬 $ A $를 갖는 고차원 함수 $ f(x) = g(Ax) $를 랜덤한 $ m $ 개의 점 평가값을 사용하여 압축 감지 기반으로 근사화하는 방법을 제안한다. 이는 임의의 $ A $에 대해 높은 확률로 정확한 근사가 가능하고, $ g $에 대한 스무쓰니스 조건 하에서 $ d $에 독립적인 샘플 복잡도로 균일한 근사를 달성하는, 다항 시간 알고리즘을 제공한다.

ABSTRACT

Let us assume that $f$ is a continuous function defined on the unit ball of $\mathbb R^d$, of the form $f(x) = g (A x)$, where $A$ is a $k imes d$ matrix and $g$ is a function of $k$ variables for $k \ll d$. We are given a budget $m \in \mathbb N$ of possible point evaluations $f(x_i)$, $i=1,...,m$, of $f$, which we are allowed to query in order to construct a uniform approximating function. Under certain smoothness and variation assumptions on the function $g$, and an {\it arbitrary} choice of the matrix $A$, we present in this paper 1. a sampling choice of the points $\{x_i\}$ drawn at random for each function approximation; 2. algorithms (Algorithm 1 and Algorithm 2) for computing the approximating function, whose complexity is at most polynomial in the dimension $d$ and in the number $m$ of points. Due to the arbitrariness of $A$, the choice of the sampling points will be according to suitable random distributions and our results hold with overwhelming probability. Our approach uses tools taken from the {\it compressed sensing} framework, recent Chernoff bounds for sums of positive-semidefinite matrices, and classical stability bounds for invariant subspaces of singular value decompositions.

연구 동기 및 목표

• 적은 샘플로 고차원 함수 근사에서 차원의 극복 문제를 해결하기 위해.
• 구조화되거나 알려진 부분공간에 국한되지 않고, 임의의 $ k \times d $ 행렬 $ A $에 대해 작동하는 샘플링 및 복구 프레임워크를 개발하기 위해.
• 함수 $ f(x) = g(Ax) $의 균일한 근사를 달성하기 위해, $ g $에 대한 스무쓰니스 조건 하에서 $ d $와 $ m $에 대해 다항 시간 복잡도를 갖는 샘플 복잡도를 확보하기 위해.
• 알고리즘이 강건하고 효율적이며, $ d $와 $ m $에 대해 다항 시간 내에 실행되는 것을 보장하기 위해.

제안 방법

• 압축 감지 원리를 활용하여 $ m $ 개의 랜덤 점 평가값으로부터 $ f(x) = g(Ax) $를 복구한다.
• 구조에 맞는 분포에 따라 $ x_i $를 랜덤하게 샘플링하여, 임의의 $ A $에 대해 강건성을 확보한다.
• 측도 집중을 제어하기 위해 양의 준정적 행렬의 합에 대한 체르노프 경계를 적용한다.
• 특이값 분해(SVD)에서 불변 부분공간의 안정성 경계를 활용하여 함수 구조의 정확한 복구를 보장한다.
• 알고리즘 1과 알고리즘 2를 설계하여 근사 함수 $ \hat{f} $를 계산하고, $ d $와 $ m $에 대해 다항 시간 복잡도를 확보한다.
• 근사 오차의 직경 관련 성장률을 제어하기 위해 민코프스키 함수와 쌍대 노름을 사용한다. 특히 $ \Omega = [-1,1]^d $의 경우에 유용하다.

실험 결과

연구 질문

• RQ1 임의의 $ A $에 대해 $ m \ll d $ 개의 점 평가값만으로도 고차원 함수 $ f(x) = g(Ax) $를 정확하게 근사할 수 있는가?
• RQ2 함수 $ g $에 대한 스무쓰니스 조건 하에서, 임의의 $ A $에 대해 균일한 근사를 높은 확률로 보장하기 위한 샘플링 전략은 무엇인가?
• RQ3 차원의 극복 문제에도 불구하고, $ d $에 독립적인 오차 경계를 확보할 수 있는가?
• RQ4 복구 알고리즘이 $ d $와 $ m $에 대해 다항 시간 복잡도를 갖되 정확도를 유지할 수 있는가?
• RQ5 랜덤 행렬의 집중 현상과 SVD 안정성은 어떻게 강건한 함수 복구를 보장하는가?

주요 결과

• 제안된 샘플링 및 복구 방법은 $ g $에 대한 스무쓰니스 및 변동성 조건 하에서, 임의의 $ A $에 대해 높은 확률로 균일한 근사를 달성한다.
• 근사 오차는 $ 2C_2(\operatorname{diam}(\Omega)+2\bar{\epsilon})\frac{\nu_1}{\sqrt{\alpha(1-s)}-\nu_1} $로 경계되며, 민코프스키 함수 기법을 통해 $ d $에 독립적으로 제어할 수 있다.
• 오차 $ \varepsilon $-정확도를 확보하기 위해 필요한 샘플 수 $ m $의 증가율은 $ d $와 $ \varepsilon^{-1} $에 대해 다항식적으로 증가하며, 다항 시간 가용성(tractability)을 달성한다.
• 알고리즘 1과 알고리즘 2는 $ d $와 $ m $에 대해 다항 시간 내에 근사 함수를 계산하여 고차원에서의 효율적 계산을 가능하게 한다.
• 양의 준정적 행렬에 대한 체르노프 경계의 사용은 측도 집중을 보장하며, 이는 샘플링 전략의 높은 확률 성공을 뒷받침한다.
• $ \Omega = [-1,1]^d $의 경우, 민코프스키 함수 기법은 쌍대 노름 $ \|\cdot\|_{\Omega}^\prime = \|\cdot\|_{\ell_1^d} $에서 직경을 경계하여 $ \sqrt{d} $ 성장 방지를 가능하게 하며, 차원에 독립적인 오차 경계를 달성한다.