[논문 리뷰] On the Equivalence between Kernel Quadrature Rules and Random Feature Expansions

Francis Bach|arXiv (Cornell University)|2015. 02. 24.

Mathematical Approximation and Integration참고 문헌 63인용 수 169

한 줄 요약

이 논문은 양의 정부호 커널에 대해 커널 사다리꼴 규칙과 랜덤 특징 전개 간의 이론적 동치성을 확립하며, 최적의 사다리꼴 점들이 랜덤 특징 샘플링의 특수한 경우로 유도될 수 있음을 보여준다. 이는 커널 고유값에만 기반하여 근사 오차에 대한 날카운 상한과 하한을 제공하며, 이 둘은 상수 인자 외에는 로그 인자 수준에서 일치한다. 또한 립시츠 연속 손실을 가진 학습에서 일반화 보장을 향상시키기 위해 필요한 랜덤 특징의 수를 줄인다.

ABSTRACT

We show that kernel-based quadrature rules for computing integrals can be seen as a special case of random feature expansions for positive definite kernels, for a particular decomposition that always exists for such kernels. We provide a theoretical analysis of the number of required samples for a given approximation error, leading to both upper and lower bounds that are based solely on the eigenvalues of the associated integral operator and match up to logarithmic terms. In particular, we show that the upper bound may be obtained from independent and identically distributed samples from a specific non-uniform distribution, while the lower bound if valid for any set of points. Applying our results to kernel-based quadrature, while our results are fairly general, we recover known upper and lower bounds for the special cases of Sobolev spaces. Moreover, our results extend to the more general problem of full function approximations (beyond simply computing an integral), with results in L2- and L$\\infty$-norm that match known results for special cases. Applying our results to random features, we show an improvement of the number of random features needed to preserve the generalization guarantees for learning with Lipschitz-continuous losses.

연구 동기 및 목표

• 양의 정부호 커널에 대해 커널 기반 사다리꼴 규칙과 랜덤 특징 전개 간의 이론적 연결을 수립하기 위해.
• 커널 사다리꼴에서 주어진 근사 오차를 달성하기 위해 필요한 샘플 수에 대한 날카운 상한과 하한을 유도하기 위해.
• 단지 적분 계산을 넘어서 $L_2$ 및 $L_\infty$-노름에서의 전체 함수 근사에까지 분석을 확장하기 위해.
• 립시츠 연속 손실을 가진 지도 학습에서 일반화 보장을 향상시키기 위해 필요한 랜덤 특징의 수를 줄이기 위해.
• 최적의 사다리꼴 점들이 커널 고유값에서 유도된 비균일 분포에서 i.i.d. 샘플링을 통해 생성될 수 있음을 보여주기 위해.

제안 방법

• 기능 해석학에 기반한 분석으로, 커널과 측도에 관련된 적분 연산자의 고유분해를 사용한다.
• 이 논문은 양의 정부호 커널에 대해 항상 존재하는 특정 분해를 사용하여 커널 사다리꼴을 랜덤 특징 전개의 특수한 경우로 공식화한다.
• 비균일 샘플링 분포를 커널의 고유값에서 유도하여 상한을 도출하며, 이는 최적 수렴 속도를 갖는 i.i.d. 샘플링을 가능하게 한다.
• 모든 점 집합에 대해 하한을 도출하여, 어떤 점 구성도 유도된 하한보다 더 나은 오차를 달성할 수 없음을 보여준다.
• 이 프레임워크는 사다리꼴과 함수 근사 모두에 적용되어 $L_2$ 및 $L_\infty$ 오차 한계를 도출하며, 특수한 경우인 소볼레프 공간과 같은 기존 결과와 일치한다.
• 랜덤 특징에 대해서는, 립시츠 연속 손실 하에서 오차 한계를 유지하기 위해 필요한 특징 수를 줄여 일반화 보장을 향상시킨다.

실험 결과

연구 질문

• RQ1 커널 사다리꼴 규칙은 공식적으로 랜덤 특징 전개의 특수한 경우로 해석될 수 있는가?
• RQ2 커널 사다리꼴에서 주어진 근사 오차를 달성하기 위해 필요한 최적의 샘플 수는 얼마이며, 이는 커널 성질에 따라 어떻게 척도화되는가?
• RQ3 동일한 이론적 프레임워크가 단지 적분 추정이 아닌 전체 함수 근사에 대해서도 날카운 오차 한계를 도출할 수 있는가?
• RQ4 제안된 방법은 지도 학습에서 일반화를 유지하기 위해 필요한 랜덤 특징의 수를 어떻게 향상시키는가?
• RQ5 최적의 상한을 달성하는 비균일 샘플링 분포가 존재하는가?

주요 결과

• 이 논문은 커널 사다리꼴이 양의 정부호 커널에 대해 항상 존재하는 분해를 갖는 랜덤 특징 전개의 특수한 경우임을 확립한다.
• 주어진 오차에 대한 샘플 수에 대한 상한과 하한은 커널의 적분 연산자의 고유값에만 의존하며, 상수 인자 외에는 로그 인자 수준에서 일치한다.
• 상한은 커널의 고유값에서 유도된 비균일 분포에서 i.i.d. 샘플링을 통해 달성 가능하다.
• 소볼레프 공간의 경우 유도된 한계는 기존의 수렴 속도를 복원하며, 예를 들어 $s=1$일 때 $n^{-2}$와 $s=2$일 때 $n^{-4}$를 포함한다. 이는 일致성을 확인한다.
• 이 프레임워크는 $L_2$ 및 $L_\infty$-노름 함수 근사로 확장되며, 특수한 경우에 대해 알려진 결과와 일치하는 오차 한계를 도출한다.
• 랜덤 특징 학습에서는, 립시츠 연속 손실 하에서 일반화 보장을 유지하기 위해 필요한 특징 수를 줄여준다.