[論文レビュー] New Nearly-Optimal Coreset for Kernel Density Estimation.

Wai Ming Tai|arXiv (Cornell University)|Jul 15, 2020

Mathematical Approximation and Integration参考文献 31被引用数 1

ひとこと要約

この論文は、分散理論と再帰的彩色を活用して、定数次元 $ d > 1 $ に対して、ガウスカーネルを用いたカーネル密度推定のための新しいコアセット構成を提示する。これにより、$ \sqrt{\log} $ の壁を打ち破り、$ d=2 $ の場合にほぼ最適なサイズ $ O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}}\right) $ を達成する。

ABSTRACT

Given a point set $P\subset \mathbb{R}^d$, kernel density estimation for Gaussian kernel is defined as $\overline{\mathcal{G}}_P(x) = \frac{1}{\left|P ight|}\sum_{p\in P}e^{-\left\lVert x-p ight Vert^2}$ for any $x\in\mathbb{R}^d$. We study how to construct a small subset $Q$ of $P$ such that the kernel density estimation of $P$ can be approximated by the kernel density estimation of $Q$. This subset $Q$ is called \emph{coreset}. The primary technique in this work is to construct $\pm 1$ coloring on the point set $P$ by the discrepancy theory and apply this coloring algorithm recursively. Our result leverages Banaszczyk's Theorem. When $d>1$ is constant, our construction gives a coreset of size $O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}} ight)$ as opposed to the best-known result of $O\left(\frac{1}{\varepsilon}\sqrt{\log\frac{1}{\varepsilon}} ight)$. It is the first to give a breakthrough on the barrier of $\sqrt{\log}$ factor even when $d=2$.

研究の動機と目的

• 定数次元におけるガウスカーネルを用いたカーネル密度推定のためのより小さなコアセットの構築を目的とする。
• $ d=2 $ における長年の $ \sqrt{\log \frac{1}{\varepsilon}} $ のコアセットサイズの壁を打ち破ることを目的とする。
• 分散理論と再帰的彩色を用いて、より良いコアセットサイズの境界を達成することを目的とする。
• 従来の研究よりも理論的限界に近い、ほぼ最適なコアセット構成を提供することを目的とする。

提案手法

• 点集合 $ P \subset \mathbb{R}^d $ に対して分散理論を用いて $ \pm 1 $ の彩色を施し、カーネル密度推定への寄与をバランスさせる。
• バナシュチックの定理を適用して彩色の分散を制御し、近似における誤差を低く保つ。
• 彩色を再帰的に適用して $ P $ の部分集合を分割・精錬し、コアセットを段階的に構築する。
• 再帰的構造により、測度の集中がより厳密になり、従来の手法と比較してコアセットサイズを削減できる。
• コアセット $ Q $ のカーネル密度推定が、$ P $ のものと $ L^\infty $-ノルムで $ \varepsilon $-誤差以内に近似されることを保証する。
• 最終的なコアセットサイズは再帰的深さと分散の境界から導出され、定数次元 $ d $ に対して $ O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}}\right) $ を得る。

実験結果

リサーチクエスチョン

• RQ1 次元 $ d=2 $ において、ガウスカーネル密度推定のコアセットを $ \sqrt{\log \frac{1}{\varepsilon}} $ の閾値未満のサイズで構築することは可能か？
• RQ2 分散に基づく手法を用いて、定数次元におけるカーネル密度推定の最小コアセットサイズは何か？
• RQ3 再帰的彩色と分散理論をどのように活用すれば、既存の境界を超えたコアセット構築を可能にするか？
• RQ4 定数 $ d>1 $ に対して、$ O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}}\right) $ のほぼ最適なコアセットサイズを達成することは可能か？
• RQ5 バナシュチックの定理は再帰的彩色フレームワークに効果的に適用可能であり、コアセットサイズの削減に寄与するか？

主な発見

• この論文は、定数次元 $ d>1 $ におけるガウスカーネル密度推定に対して、$ O\left(\frac{1}{\varepsilon}\sqrt{\log\log\frac{1}{\varepsilon}}\right) $ のコアセットサイズを達成した。
• これは、従来の最良の境界 $ O\left(\frac{1}{\varepsilon}\sqrt{\log\frac{1}{\varepsilon}}\right) $ よりも改善されており、$ d=2 $ における $ \sqrt{\log} $ の壁を打ち破った。
• 本手法は、分散理論と再帰的彩色技術を用いてこのような境界に初めて到達した。
• 方法により、カーネル密度推定が $ L^\infty $-ノルムで $ \varepsilon $-近似が保証される。
• バナシュチックの定理の使用により、より厳密な分散制御が可能となり、結果としてコアセットサイズの改善に直接寄与した。
• 結果はほぼ最適であり、この設定における理論的下界に非常に近い。