[논문 리뷰] On the Equivalence between Quadrature Rules and Random Features

Francis Bach|arXiv (Cornell University)|2015. 02. 24.

Mathematical Approximation and Integration참고 문헌 51인용 수 28

한 줄 요약

이 논문은 특정 커널 분해 하에 정규화된 커널 기반 적분 규칙가 무작위 특징 확장의 특수한 경우임을 보여줌으로써, 커널 기반 적분 규칙과 무작위 특징 확장 간의 이론적 동치성을 확립한다. 커널 고유값을 기반으로 샘플 복잡도에 대한 날카운 상한과 하한을 유도하며, 이는 로그 인자까지 일치하며, 리프시츠 손실을 가진 학습의 함수 근사 및 일반화로 확장된다.

ABSTRACT

We show that kernel-based quadrature rules for computing integrals are a special case of random feature expansions for positive definite kernels for a particular decomposition that always exists for such kernels. We provide a theoretical analysis of the number of required samples for a given approximation error, leading to both upper and lower bounds that are based solely on the eigenvalues of the associated integral operator and match up to logarithmic terms. In particular, we show that the upper bound may be obtained from independent and identically distributed samples from a known nonuniform distribution, while the lower bound if valid for any set of points. Applying our results to kernel-based quadrature, while our results are fairly general, we recover known upper and lower bounds for the special cases of Sobolev spaces. Moreover, our results extend to the more general problem of full function approximations (beyond simply computing an integral), with results in L2- and L1-norm that match known results for special cases. Applying our results to random features, we show an improvement of the number of random features needed to preserve the generalization guarantees for learning with Lipshitz-continuous losses.

연구 동기 및 목표

• 양의 정부호 커널에 대해 커널 기반 적분 규칙과 무작위 특징 확장 간의 이론적 연결을 수립하기 위해.
• 적분 계산에서 주어진 근사 오차를 달성하기 위해 필요한 샘플 수에 대한 날카운 상한과 하한을 유도하기 위해.
• 통합을 넘어서 L2 및 L1 노름에서의 전체 함수 근사로 분석을 확장하기 위해.
• 리프시츠 연속 손실을 가진 기계 학습에서 샘플 효율성을 향상시키기 위해, 이들 한계를 일반화 보장에 적용하기 위해.

제안 방법

• 양의 정부호 커널과 관련된 적분 연산자의 스펙트럼 분해를 활용하여 특정한 무작위 특징 확장을 정의한다.
• 커널의 고유값에서 유도된 비균일 분포에서의 i.i.d. 표본을 사용하여 샘플 복잡도에 대한 상한을 도출한다.
• 모든 점 집합에 대해 유효한 하한을 확립하여, 어떤 점 구성도 이 하한보다 더 나은 오차를 달성할 수 없음을 보여준다.
• 커널 기반 적분 규칙에 이들 한계를 적용하여, 소볼레프 공간에 대해 알려진 결과를 특수한 경우로 복원한다.
• L2- 및 L1-노름 근사 오차를 분석하여 프레임워크를 함수 근사로 확장한다.
• 유도된 한계를 사용하여, 리프시츠 연속 손실을 가진 학습에서 일반화 보장을 유지하기 위해 필요한 무작위 특징 수를 개선한다.

실험 결과

연구 질문

• RQ1 양의 정부호 커널의 맥락에서 커널 기반 적분 규칙와 무작위 특징 확장 간의 관계는 무엇인가?
• RQ2 커널 고유값에만 기반하여 주어진 적분 오차를 위해 필요한 샘플 수에 대한 가장 날카운 상한과 하한은 무엇인가?
• RQ3 적분을 위한 이론적 프레임워크는 L2 및 L1 노름에서의 전체 함수 근사로 확장될 수 있는가?
• RQ4 이들 한계는 리프시츠 연속 손실을 가진 기계 학습에서 무작위 특징의 샘플 효율성을 어떻게 향상시키는가?

주요 결과

• 커널 기반 적분 규칙는 특정한 커널 분해 하에 무작위 특징 확장의 공식적인 특수한 경우이다.
• 샘플 복잡도에 대한 상한은 커널의 고유값에서 유도된 알려진 비균일 분포에서의 i.i.d. 표본을 사용하여 달성 가능하다.
• 샘플 복잡도에 대한 하한은 모든 점 집합에 대해 유효하며, 어떤 점 구성도 이 하한보다 더 나은 오차를 달성할 수 없음을 증명한다.
• 유도된 한계는 소볼레프 공간에 대해 알려진 결과와 일치하여 특수한 경우에서의 일관성을 확인한다.
• 프레임워크는 함수 근사로 확장되며, 기존 결과와 일치하는 날카운 L2- 및 L1-노름 오차 한계를 도출한다.
• 분석을 통해 리프시츠 연속 손실을 가진 학습에서 일반화 보장을 유지하기 위해 필요한 무작위 특징 수가 향상된다.