[论文解读] Discrete reproducing kernel Hilbert spaces: Sampling and distribution of Dirac-masses

Palle E. T. Jørgensen, Feng Tian|arXiv (Cornell University)|Jan 9, 2015

Mathematical Analysis and Transform MethodsMathematics参考文献 35被引用 22

一句话总结

本文研究无限、离散、可数集合上的再生核希尔伯特空间（RKHS），重点探讨在每个点处的狄拉克点质量是否属于具有有限范数的RKHS。文章建立了狄拉克质量属于该空间的条件，表明在离散布朗运动和电阻网络模型中它们是有限的，但在二项式RKHS中则不是，其应用涉及高斯自由场和极限学习机。

ABSTRACT

We study reproducing kernels, and associated reproducing kernel Hilbert spaces (RKHSs) $\\mathscr{H}$ over infinite, discrete and countable sets $V$. In this setting we analyze in detail the distributions of the corresponding Dirac point-masses of $V$. Illustrations include certain models from neural networks: An Extreme Learning Machine (ELM) is a neural network-configuration in which a hidden layer of weights are randomly sampled, and where the object is then to compute resulting output. For RKHSs $\\mathscr{H}$ of functions defined on a prescribed countable infinite discrete set $V$, we characterize those which contain the Dirac masses $\\delta_{x}$ for all points $x$ in $V$. Further examples and applications where this question plays an important role are: (i) discrete Brownian motion-Hilbert spaces, i.e., discrete versions of the Cameron-Martin Hilbert space; (ii) energy-Hilbert spaces corresponding to graph-Laplacians where the set $V$ of vertices is then equipped with a resistance metric; and finally (iii) the study of Gaussian free fields.

研究动机与目标

• 表征在无限离散集合上哪些再生核希尔伯特空间（RKHS）包含具有有限范数的狄拉克点质量。
• 分析具体模型中狄拉克质量的分布及其范数，包括离散布朗运动、布朗桥和二项式核。
• 建立图拉普拉斯矩阵的能-希尔伯特空间与RKHS之间的联系，特别是在无限电阻网络中。
• 证明由电网络导出的某些RKHS的普遍性，从而实现对连续函数的统一逼近。
• 将结果应用于极限学习机和高斯自由场，建立离散分析与机器学习及随机过程之间的联系。

提出的方法

• 利用可数离散集 $V$ 上的正定核理论，通过再生性质 $f(x) = \langle f, k_x \rangle_\mathscr{H}$ 定义相关的RKHSs $\mathscr{H}(k)$。
• 应用斯通-魏尔斯特拉斯定理，在导纳函数 $c$ 满足一定条件时，证明电阻网络导出的RKHS具有普遍性。
• 使用电阻度量和由图拉普拉斯矩阵导出的能量形式，计算狄拉克质量 $\delta_x$ 的 $\mathscr{H}$-范数。
• 推导 $\|\delta_x\|_\mathscr{H}^2$ 的显式公式，以局部导纳和路径结构表示，例如在二叉树中 $\|\delta_\alpha\|_\mathscr{H}^2 = \frac{2}{r(l(\alpha))} + \frac{1}{r(l(\alpha)-1)}$。
• 通过Dirichlet型态建立图拉普拉斯矩阵格林函数的RKHS与能量-Hilbert空间之间的同构关系。
• 利用顶点集上电阻度量的度量完备化，分析点质量的收敛性和边界行为。

实验结果

研究问题

• RQ1 在可数离散集 $V$ 上的正定核 $k$ 满足何种条件时，其关联的RKHS $\mathscr{H}(k)$ 中的狄拉克质量 $\delta_x$ 具有有限范数？
• RQ2 狄拉克质量是否属于离散布朗运动和布朗桥过程的RKHS，其范数是多少？
• RQ3 与无限电阻网络（具有导纳函数 $c$）相关的RKHS是否包含所有狄拉克质量，能否对连续函数进行一致逼近？
• RQ4 在电阻网络或树结构中，狄拉克质量 $\delta_x$ 的 $\mathscr{H}$-范数是否存在显式公式？
• RQ5 顶点集 $V$ 上的电阻度量如何与度量完备化及RKHS中狄拉克质量的范数相关联？

主要发现

• 狄拉克质量 $\delta_x$ 在离散布朗运动和电阻网络模型中具有有限 $\mathscr{H}$-范数，如定理4.13和推论4.5所示。
• 对于导纳 $c_{\alpha,\alpha t} = 1/r(l(\alpha))$ 的二叉树，$\delta_\alpha$ 的范数为 $\|\delta_\alpha\|_\mathscr{H}^2 = \frac{2}{r(l(\alpha))} + \frac{1}{r(l(\alpha)-1)}$，当 $\alpha$ 趋近边界时该值发散。
• 由图拉普拉斯矩阵格林函数导出的RKHS与能量-Hilbert空间等距同构，且所有狄拉克质量均属于该空间。
• 与电阻网络相关的RKHS具有普遍性：它可以在 $V$ 的度量完备化的紧子集上一致逼近任意连续函数。
• 在二项式RKHS中，狄拉克质量 $\delta_x$ 不具有有限范数，如定理3.18所示。
• 无限电阻网络顶点集 $V$ 上的电阻度量满足 $\widetilde{R^{(c)}}(\omega,\omega') = 2\sum_{n=l(\omega \cap \omega')}^{\infty} r(n)$，且该度量完备化与树的边界等距同构。