[論文レビュー] Discrete reproducing kernel Hilbert spaces: Sampling and distribution of Dirac-masses

Palle E. T. Jørgensen, Feng Tian|arXiv (Cornell University)|Jan 9, 2015

Mathematical Analysis and Transform MethodsMathematics参考文献 35被引用数 22

ひとこと要約

本稿は、無限、離散的、可算集合上での再生核ヒルベルト空間（RKHS）を調査し、各点におけるデルタ関数点質量が、有限ノルムでRKHSに含まれるかどうかに注目している。デルタ質量が空間に含まれる条件を確立し、離散ブラウン運動および抵抗ネットワークモデルでは有限であるが、二項分布RKHSではそうではないことを示しており、ガウス自由場および極端学習機械（ELM）への応用を含む。

ABSTRACT

We study reproducing kernels, and associated reproducing kernel Hilbert spaces (RKHSs) $\\mathscr{H}$ over infinite, discrete and countable sets $V$. In this setting we analyze in detail the distributions of the corresponding Dirac point-masses of $V$. Illustrations include certain models from neural networks: An Extreme Learning Machine (ELM) is a neural network-configuration in which a hidden layer of weights are randomly sampled, and where the object is then to compute resulting output. For RKHSs $\\mathscr{H}$ of functions defined on a prescribed countable infinite discrete set $V$, we characterize those which contain the Dirac masses $\\delta_{x}$ for all points $x$ in $V$. Further examples and applications where this question plays an important role are: (i) discrete Brownian motion-Hilbert spaces, i.e., discrete versions of the Cameron-Martin Hilbert space; (ii) energy-Hilbert spaces corresponding to graph-Laplacians where the set $V$ of vertices is then equipped with a resistance metric; and finally (iii) the study of Gaussian free fields.

研究の動機と目的

• 無限離散集合上の再生核ヒルベルト空間（RKHS）のうち、有限ノルムでデルタ関数点質量を含むものについての特徴付けを行う。
• 離散ブラウン運動、ブラウンブリッジ、および二項カーネルを含む具体的なモデルにおけるデルタ質量の分布およびノルムを分析する。
• グラフラプラシアンからのエネルギーヒルベルト空間とRKHSとの間の関係、特に無限抵抗ネットワークにおける関係を確立する。
• 電気的ネットワークから導かれる特定のRKHSの普遍性を証明し、連続関数の一様近似を可能にする。
• 得られた結果を極端学習機械（ELM）およびガウス自由場に応用し、離散解析と機械学習・確率過程との接点を示す。

提案手法

• 可算離散集合 $V$ 上の正定値カーネルの理論を用いて、再生性 $f(x) = \langle f, k_x \rangle_\mathscr{H}$ を満たす関連するRKHS $\mathscr{H}(k)$ を定義する。
• 導出条件のもとで抵抗ネットワークからのRKHSの普遍性を示すために、Stone-Weierstrassの定理を適用する。
• グラフラプラシアンから導かれる抵抗距離およびエネルギー形式を用いて、デルタ質量 $\delta_x$ の $\mathscr{H}$-ノルムを計算する。
• 局所的コンダクタンスおよびパス構造を用いて、$\|\delta_x\|_\mathscr{H}^2$ の明示的公式を導出する。例えば、二分木では $\|\delta_\alpha\|_\mathscr{H}^2 = \frac{2}{r(l(\alpha))} + \frac{1}{r(l(\alpha)-1)}$ が成り立つ。
• ディリクレ形式を介して、グラフラプラシアンのグリーン関数のRKHSとエネルギーヒルベルト空間との間の同型写像を確立する。
• 頂点集合 $V$ 上の抵抗距離の距離完備化を用いて、点質量の収束性および境界挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 可算離散集合 $V$ 上の正定値カーネル $k$ に対して、関連するRKHS $\mathscr{H}(k)$ にデルタ質量 $\delta_x$ が有限ノルムで含まれるための条件は何か？
• RQ2 離散ブラウン運動およびブラウンブリッジ過程におけるデルタ質量はRKHSに含まれるか？そのノルムは何か？
• RQ3 コンダクタンス関数 $c$ を持つ無限抵抗ネットワークに関連するRKHSは、すべてのデルタ質量を含むか？また、連続関数を $V$ の距離完備化のコンパクト部分集合上で一様近似できるか？
• RQ4 抵抗ネットワークまたは木構造におけるデルタ質量 $\delta_x$ の $\mathscr{H}$-ノルムの明示的公式は何か？
• RQ5 無限抵抗ネットワークの頂点集合 $V$ 上の抵抗距離は、距離完備化およびRKHSにおけるデルタ質量のノルムとどのように関係するか？

主な発見

• 離散ブラウン運動および抵抗ネットワークモデルでは、デルタ質量 $\delta_x$ が有限 $\mathscr{H}$-ノルムを持つことが、定理4.13および系4.5で示されている。
• コンダクタンス $c_{\alpha,\alpha t} = 1/r(l(\alpha))$ を持つ二分木では、$\delta_\alpha$ のノルムは $\|\delta_\alpha\|_\mathscr{H}^2 = \frac{2}{r(l(\alpha))} + \frac{1}{r(l(\alpha)-1)}$ であり、$\alpha$ が境界に近づくにつれて発散する。
• グラフラプラシアンのグリーン関数から得られるRKHSは、エネルギーヒルベルト空間と等距同型であり、すべてのデルタ質量がその空間に含まれる。
• 抵抗ネットワークに関連するRKHSは普遍的である：$V$ の距離完備化のコンパクト部分集合上で、任意の連続関数を一様近似可能である。
• 二項分布RKHSでは、定理3.18で示されるように、デルタ質量 $\delta_x$ は有限ノルムを持たない。
• 無限抵抗ネットワークの頂点集合 $V$ 上の抵抗距離は $\widetilde{R^{(c)}}(\omega,\omega') = 2\sum_{n=l(\omega \cap \omega')}^{\infty} r(n)$ を満たし、この距離完備化は木の境界と等距同型である。