[논문 리뷰] Kernel interpolation with continuous volume sampling

Ayoub Belhadji, R. Bardenet외 1명|arXiv (Cornell University)|2020. 02. 22.

Statistical Methods and Inference참고 문헌 58인용 수 6

한 줄 요약

이 논문은 커널 보간과 적분을 위한 새로운 연속적인 랜덤 설계인 연속체적 볼륨 샘플링(Continuous Volume Sampling, VS)을 소개한다. VS는 커널 행렬의 행렬식이 큰 구성이 유리하도록 노드 위치를 선택한다. 이는 임의의 재생 커널 힐버트 공간(RKHS)에서 보간과 적분에 대해 스펙트럼에 의존하는 날카운 오차 한계를 제공하며, 주요 기여는 이전 방법보다 개선되거나 동등한 비점점적 보장을 제공함과 동시에 점별 커널 평가만으로도 효율적인 MCMC 샘플링을 가능하게 한다.

ABSTRACT

A fundamental task in kernel methods is to pick nodes and weights, so as to approximate a given function from an RKHS by the weighted sum of kernel translates located at the nodes. This is the crux of kernel density estimation, kernel quadrature, or interpolation from discrete samples. Furthermore, RKHSs offer a convenient mathematical and computational framework. We introduce and analyse continuous volume sampling (VS), the continuous counterpart -- for choosing node locations -- of a discrete distribution introduced in (Deshpande & Vempala, 2006). Our contribution is theoretical: we prove almost optimal bounds for interpolation and quadrature under VS. While similar bounds already exist for some specific RKHSs using ad-hoc node constructions, VS offers bounds that apply to any Mercer kernel and depend on the spectrum of the associated integration operator. We emphasize that, unlike previous randomized approaches that rely on regularized leverage scores or determinantal point processes, evaluating the pdf of VS only requires pointwise evaluations of the kernel. VS is thus naturally amenable to MCMC samplers.

연구 동기 및 목표

• 임의의 RKHS에서 이론적으로 타당하고 계산적으로 효율적인 커널 보간과 적분을 위한 랜덤 설계를 개발하는 것.
• 커널의 적분 연산자의 스펙트럼에 명시적으로 의존하는 비점점적 오차 한계를 제공하는 것.
• 전체 메르서 분해에 의존하지 않는 샘플링 메커니즘을 설계하여 실용적인 MCMC 기반 구현을 가능하게 하는 것.
• 연속체적 볼륨 샘플링과 투영 결정성점 프로세스(DPPs) 사이의 연결 고리를 설정하여 기하학적 및 확률적 구조를 활용하는 것.
• 이 방법이 다양한 RKHS들—특히 소볼레프 공간과 가우시안 공간—에서 거의 최적의 오차 비율을 달성함을 보여주는 것.

제안 방법

• 노드 구성에 대한 연속 확률 분포로 연속체적 볼륨 샘플링(VS)을 제안하여 커널 행렬의 행렬식이 큰 조합을 선호한다.
• 서브셋에 대한 커널 행렬의 영구행렬을 사용해 VS의 결합 밀도를 정의함으로써 다양하고 잘 분포된 노드를 선호하는 분포를 도출한다.
• VS가 투영 결정성점 프로세스(DPPs)의 혼합으로 표현될 수 있음을 증명하여 기존의 상반점 프로세스와 연결한다.
• VS 하에서 기대 리지드 스코어에 대한 명시적 공식을 유도하여 노드 수와 스펙트럼 감쇠에 대한 부드러운 의존성을 보여준다.
• 커널 적분 연산자의 스펙트럼 분해를 사용하여 보간 및 적분 오차를 고유값과 기본 대칭 다항식으로 표현한다.
• VS 밀도 평가는 오직 점별 커널 평가만으로도 가능하므로, 전체 스펙트럼 분해 없이도 효율적인 MCMC 샘플링이 가능함을 보여준다.

실험 결과

연구 질문

• RQ1 메르서 분해가 필요 없이 모든 RKHS에서 거의 최적의 오차 한계를 달성하는 커널 보간을 위한 랜덤 설계를 구축할 수 있는가?
• RQ2 연속체적 볼륨 샘플링 하에서 보간 오차는 노드 수와 커널 적분 연산자의 스펙트럼에 따라 어떻게 척도화되는가?
• RQ3 오직 점별 커널 평가에만 액세스할 수 있는 상황에서 연속체적 볼륨 샘플링은 MCMC 방법을 통해 효율적으로 구현될 수 있는가?
• RQ4 연속체적 볼륨 샘플링과 기존의 상반점 프로세스인 DPPs 사이의 관계는 무엇인가?
• RQ5 커널 연산자의 고유함수에 대해 VS 하에서 기대 리지드 스코어와 보간 오차는 어떻게 행동하는가?

주요 결과

• RKHS 내 임의의 함수에 대해 기대 보간 오차는 노드 수에 따라 감소하는 항과 커널의 적분 연산자 고유값에 의존하는 항으로 제한된다.
• 고유함수 $e_m$에 대해 VS 하에서 기대 보간 오차는 $\sigma_m \left( \sum_{U \in \mathcal{U}_N} \prod_{u \in U} \sigma_u \right)^{-1} \sum_{U \in \mathcal{U}_N^m} \prod_{u \in U} \sigma_u$ 로 상한이 둔다. 이는 특정 케이스에서 알려진 최적 비율과 일치한다.
• 기대 리지드 스코어 $\mathbb{E}_{\text{VS}} \tau_m^\mathcal{F}(\bm{x})$ 는 매끄러운 커널에 대해 $N = m$에서 급격한 전이를 보이며, $N > m$일 경우 거의 완벽한 재구성 가능성을 나타낸다.
• 소볼레프 커널의 경우 부등식 상수 $B$ 는 부드러움 파라미터 $s \to \infty$ 일 때 $e$ 로 수렴하고, 가우시안 커널의 경우 $α \to 0$ 일 때 $0$ 으로 수렴하여 더 매끄럽거나 더 규칙적인 커널일수록 성능 향상을 보임을 시사한다.
• 모든 테스트된 RKHS들—주기적 소볼레프 공간과 가우시안 공간 포함—에서 거의 최적의 오차 한계를 달성하며, 커널의 스펙트럼 분해를 명시적으로 알 필요 없이도 가능하다.
• 연속체적 볼륨 샘플링의 결합 밀도는 오직 점별 커널 평가만으로도 평가 가능하므로 MCMC 샘플링에 적합하며 고차원 또는 복잡한 영역으로도 확장 가능하다.