[논문 리뷰] New Nearly-Optimal Coreset for Kernel Density Estimation.

Wai Ming Tai|arXiv (Cornell University)|2020. 07. 15.

Mathematical Approximation and Integration참고 문헌 31인용 수 1

한 줄 요약

이 논문은 고정된 차원 $ d > 1 $ 에서 가우시안 커널을 사용한 커널 밀도 추정을 위한 새로운 코어셋 구성법을 제안한다. 이는 불일치 이론과 순환 색칠 기법을 활용하여 $ \varepsilon $에 대해 거의 최적의 크기인 $ O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}}\right) $ 를 달성하며, 특히 $ d=2 $ 에서 오랫동안 지속된 $ \sqrt{\log} $ 장벽을 돌파한다.

ABSTRACT

Given a point set $P\subset \mathbb{R}^d$, kernel density estimation for Gaussian kernel is defined as $\overline{\mathcal{G}}_P(x) = \frac{1}{\left|P ight|}\sum_{p\in P}e^{-\left\lVert x-p ight Vert^2}$ for any $x\in\mathbb{R}^d$. We study how to construct a small subset $Q$ of $P$ such that the kernel density estimation of $P$ can be approximated by the kernel density estimation of $Q$. This subset $Q$ is called \emph{coreset}. The primary technique in this work is to construct $\pm 1$ coloring on the point set $P$ by the discrepancy theory and apply this coloring algorithm recursively. Our result leverages Banaszczyk's Theorem. When $d>1$ is constant, our construction gives a coreset of size $O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}} ight)$ as opposed to the best-known result of $O\left(\frac{1}{\varepsilon}\sqrt{\log\frac{1}{\varepsilon}} ight)$. It is the first to give a breakthrough on the barrier of $\sqrt{\log}$ factor even when $d=2$.

연구 동기 및 목표

• 고정된 차원에서 가우시안 커널을 사용한 커널 밀도 추정을 위한 더 작은 코어셋을 개발하기 위해.
• 차원 $ d=2 $ 에서 오랫동안 지속된 $ \sqrt{\log \frac{1}{\varepsilon}} $ 크기 장벽을 극복하기 위해.
• 불일치 이론과 순환 색칠 기법을 적용하여 개선된 코어셋 크기 경계를 달성하기 위해.
• 이전 작업보다 이론적 한계에 더 가까운 거의 최적의 코어셋 구성법을 제공하기 위해.

제안 방법

• 점 집합 $ P \subset \mathbb{R}^d $ 에 대해 불일치 이론을 활용해 $ \pm 1 $ 색칠을 적용하여 커널 밀도 추정에 기여를 균형 있게 만들기 위해.
• 불일치의 제어를 위해 Banaszczyk의 정리를 적용하여 근사화에서 낮은 오차를 보장하기 위해.
• 색칠을 순환적으로 적용하여 $ P $ 의 부분집합을 분할하고 정밀화함으로써 코어셋을 점진적으로 구축하기 위해.
• 순환적 구조 덕분에 측도의 더 강한 집중이 가능하여, 이전 방법보다 코어셋 크기를 줄일 수 있도록 하기 위해.
• 코어셋 $ Q $ 의 커널 밀도 추정이 $ P $ 의 것과 $ L^\infty $-노름에서 $ \varepsilon $ 이내로 근사화됨을 보장하기 위해.
• 최종 코어셋 크기는 순환 깊이와 불일치 경계로부터 유도되며, 고정된 $ d $ 에 대해 $ O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}}\right) $ 를 얻는다.

실험 결과

연구 질문

• RQ1 차원 $ d=2 $ 에서 가우시안 커널 밀도 추정을 위한 코어셋 크기를 $ \sqrt{\log \frac{1}{\varepsilon}} $ 이하로 낮출 수 있는가?
• RQ2 불일치 기반 방법을 사용할 때, 고정된 차원에서 커널 밀도 추정을 위한 최소 코어셋 크기는 얼마인가?
• RQ3 어떻게 순환 색칠과 불일치 이론을 활용하여 기존 경계를 초월한 코어셋 구성법을 개선할 수 있는가?
• RQ4 고정된 $ d>1 $ 에서 $ O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}}\right) $ 의 거의 최적의 코어셋 크기를 달성할 수 있는가?
• RQ5 Banaszczyk의 정리는 순환 색칠 프레임워크에서 효과적으로 적용되어 코어셋 크기를 줄일 수 있는가?

주요 결과

• 논문은 고정된 차원 $ d>1 $ 에서 가우시안 커널을 사용한 커널 밀도 추정에 대해 $ O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}}\right) $ 의 코어셋 크기를 달성한다.
• 이 결과는 이전까지 알려진 최선의 경계인 $ O\left(\frac{1}{\varepsilon}\sqrt{\log\frac{1}{\varepsilon}}\right) $ 에 비해 향상되었으며, 특히 $ d=2 $ 에서 $ \sqrt{\log} $ 장벽을 돌파한다.
• 이 구성법은 불일치 이론과 순환 색칠 기법을 사용하여 이러한 경계에 도달한 최초의 사례이다.
• 이 방법은 커널 밀도 추정에 대해 $ L^\infty $-노름에서 $ \varepsilon $-근사화를 보장한다.
• Banaszczyk의 정리를 활용함으로써 불일치 제어가 더욱 정밀해져, 개선된 코어셋 크기로 직접 기여한다.
• 결과는 거의 최적이며, 이 설정에서의 이론적 하한선에 매우 가깝게 수렴한다.