[논문 리뷰] Fourier Sparse Leverage Scores and Approximate Kernel Learning

Tamás Erdélyi, Cameron Musco외 1명|arXiv (Cornell University)|2020. 06. 12.

Sparse and Compressive Sensing Techniques참고 문헌 73인용 수 5

한 줄 요약

이 논문은 가우시안 및 라플라스 측도에 대한 푸리에 희소 리지드 스코어에 대한 명시적 상한을 설정하여, 통계 차원에 대해 다항식 시간 복잡도를 가지며 near-optimal 특징 수를 갖는 커널 근사화를 위한 새로운 무작위 푸리에 특징 알고리즘을 가능하게 한다. 또한 가우시안 및 라플라스 데이터 하에서 강건한 활성 학습을 위한 비균일 샘플링 분포를 제공하며, 비다항식 커널에 대한 무지식 스케치링에 대한 열린 질문을 해결한다.

ABSTRACT

We prove new explicit upper bounds on the leverage scores of Fourier sparse functions under both the Gaussian and Laplace measures. In particular, we study $s$-sparse functions of the form $f(x) = \sum_{j=1}^s a_j e^{i λ_j x}$ for coefficients $a_j \in \mathbb{C}$ and frequencies $λ_j \in \mathbb{R}$. Bounding Fourier sparse leverage scores under various measures is of pure mathematical interest in approximation theory, and our work extends existing results for the uniform measure [Erd17,CP19a]. Practically, our bounds are motivated by two important applications in machine learning: 1. Kernel Approximation. They yield a new random Fourier features algorithm for approximating Gaussian and Cauchy (rational quadratic) kernel matrices. For low-dimensional data, our method uses a near optimal number of features, and its runtime is polynomial in the $statistical\ dimension$ of the approximated kernel matrix. It is the first "oblivious sketching method" with this property for any kernel besides the polynomial kernel, resolving an open question of [AKM+17,AKK+20b]. 2. Active Learning. They can be used as non-uniform sampling distributions for robust active learning when data follows a Gaussian or Laplace distribution. Using the framework of [AKM+19], we provide essentially optimal results for bandlimited and multiband interpolation, and Gaussian process regression. These results generalize existing work that only applies to uniformly distributed data.

연구 동기 및 목표

• 가우시안 및 라플라스와 같은 비균일 측도 하에서 푸리에 희소 함수에 대한 명시적 리지드 스코어 상한의 부족을 다루며, 이전 연구가 균일 측도에 국한된 바를 확장한다.
• 근사화된 가우시안 및 코시 커널 행렬을 위한 새로운 무작위 푸리에 특징 방법을 개발하여, 특징 수가 near-optimal이 되는 무지식적 방법을 달성한다.
• 기존의 균일 샘플링 결과를 가우시안 및 라플라스 분포 데이터로 일반화하는 비균일 샘플링 분포를 제공한다.
• 비다항식 커널에 대해 최적의 특징 수를 갖는 첫 번째 무지식 스케치링 방법을 구성하여 커널 학습 분야의 열린 질문을 해결한다.
• 주파수 갭 제약 조건 하에서 리지드 스코어 상한을 날카롭게 하여 커널 근사화 및 활성 학습 성능을 향상시킨다.

제안 방법

• 복소 해석학 및 부등식을 사용하여, 가우시안 및 라플라스 측도 하에서 $s$-희소 푸리에 함수 $f(x) = \sum_{j=1}^s a_j e^{i\lambda_j x}$ 의 리지드 스코어에 대한 상한을 유도한다.
• 잉하움의 부등식과 코시-슈바르츠 부등식을 적용하여, 측도 하에서 $f(x)$ 의 점별 크기를 $L^2$ 노름에 상대적으로 제한한다.
• 스케일링 추론을 사용하여 표준 분산 밀도(예: $\frac{1}{2}e^{-|x|}$)에서 일반 분산 $\sigma^2$ 밀도로 결과를 확장한다.
• 최소 주파수 간격 $\gamma$ 가 구성 요소들 사이에 존재한다고 가정하여 갭 기반 상한을 도입함으로써 농도와 타이트함을 향상시킨다.
• 리지드 스코어 상한에서 유도된 샘플링 분포를 도입하여 활성 학습 및 커널 근사화에서 비균일 샘플링을 가능하게 한다.
• 결과적으로 특징 수가 커널 행렬의 통계 차원에 대해 다항식임을 증명하여 런타임 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 가우시안 및 라플라스 측도 하에서 $s$-희소 푸리에 함수의 리지드 스코어에 대한 명시적 상한은 무엇인가?
• RQ2 이 상한은 특징 수가 near-optimal이고 런타임이 커널 행렬의 통계 차원에 대해 다항식인 커널 근사화를 위한 무작위 푸리에 특징 알고리즘 설계에 사용될 수 있는가?
• RQ3 리지드 스코어 상한은 밴드제한 및 다중밴드 함수에 대해 활성 학습 성능을 향상시키는 비균일 샘플링 전략을 가능하게 하는가?
• RQ4 비다항식 커널에 대해 최적의 특징 수를 갖는 첫 번째 무지식 스케치링 방법을 구성하는 것은 가능한가? 이는 커널 학습 분야의 열린 질문을 해결한다.
• RQ5 구성 요소들 사이의 주파수 갭 $\gamma$ 는 리지드 스코어 상한의 타이트함과 결과적 알고리즘 성능에 어떤 영향을 미치는가?

주요 결과

• 라플라스 측도 $z(x) = \frac{1}{2}e^{-|x|}$ 에 대해, 리지드 스코어 $\tau_{s,z}(x)$ 는 $|x| \leq 9\sqrt{2}\sigma s$ 에서 $\frac{e^2 s}{1 + |x|}$ 이며, $|x| > 18s$ 에서는 $e^{-|x|/6}$ 으로 상한이 둔다.
• 주파수 갭 $\gamma$ 가 있는 가우시안 측도에 대해, 리지드 스코어는 $\tau_{s,\gamma,g}(x) \leq \left(\frac{\gamma}{6} e^{4\pi^2/\gamma^2}\right) s e^{-x^2}$ 를 만족하며, $\gamma = \Omega(1)$ 일 때 적분값이 $O(s)$ 가 된다.
• 제안된 무작위 푸리에 특징 알고리즘은 커널 행렬의 통계 차원에 대해 다항식 특징 수를 달성하며, 런타임 효율성이 확보된다.
• 이 방법은 다항식 커널을 제외한 어떤 커널에 대해서도 최적의 특징 수를 갖는 첫 번째 무지식 스케치링 방법을 제공함으로써 열린 질문을 해결한다.
• 리지드 스코어 상한은 기존의 균일 샘플링 결과를 가우시안 및 라플라스 분포 데이터로 일반화하는 비균일 샘플링 전략을 가능하게 한다.
• 갭 기반 상한은 농도를 향상시키며, 특히 주파수가 잘 분리되어 있을 경우 더 타이트한 리지드 스코어 추정을 이끈다.