[논문 리뷰] Discrete reproducing kernel Hilbert spaces: Sampling and distribution of Dirac-masses

Palle E. T. Jørgensen, Feng Tian|arXiv (Cornell University)|2015. 01. 09.

Mathematical Analysis and Transform MethodsMathematics참고 문헌 35인용 수 22

한 줄 요약

이 논문은 무한, 이산, 가산 집합 위의 재생 핵 힐버트 공간(RKHSs)을 연구하며, 각 점에 대한 디랙 점질량이 유한한 노름을 가진 채로 RKHS에 포함되는지 여부에 초점을 맞춘다. 디랙 질량이 공간에 포함되는 조건을 규명하여, 이들이 이산 브라운 motion 및 저항망 모델에서는 유한한 노름을 가지지만, 이항 RKHS에서는 그렇지 않음을 보이며, 가우시안 자유 장과 극단적 학습 기계(ELM)에의 적용을 제시한다.

ABSTRACT

We study reproducing kernels, and associated reproducing kernel Hilbert spaces (RKHSs) $\\mathscr{H}$ over infinite, discrete and countable sets $V$. In this setting we analyze in detail the distributions of the corresponding Dirac point-masses of $V$. Illustrations include certain models from neural networks: An Extreme Learning Machine (ELM) is a neural network-configuration in which a hidden layer of weights are randomly sampled, and where the object is then to compute resulting output. For RKHSs $\\mathscr{H}$ of functions defined on a prescribed countable infinite discrete set $V$, we characterize those which contain the Dirac masses $\\delta_{x}$ for all points $x$ in $V$. Further examples and applications where this question plays an important role are: (i) discrete Brownian motion-Hilbert spaces, i.e., discrete versions of the Cameron-Martin Hilbert space; (ii) energy-Hilbert spaces corresponding to graph-Laplacians where the set $V$ of vertices is then equipped with a resistance metric; and finally (iii) the study of Gaussian free fields.

연구 동기 및 목표

• 무한 이산 집합 위의 재생 핵 힐버트 공간(RKHSs) 중에서 유한한 노름을 가진 디랙 점질량을 포함하는 경우를 특성화하는 것.
• 이산 브라운 운동, 브라운 운동 다리, 이항 커널 등 구체적 모델에서의 디랙 질량의 분포 및 노름을 분석하는 것.
• 그래프 라플라스 연산자의 에너지-힐버트 공간과 RKHS 사이의 연결 고리를 설정하는 것, 특히 무한 저항망에서의 적용을 포함.
• 전기망에서 유도된 특정 RKHS의 보편성을 증명하여 연속 함수의 균일 근사가 가능하도록 하는 것.
• 결과를 극단적 학습 기계(ELM)와 가우시안 자유 장에 적용하여 이산 해석과 기계 학습, 확률 과정 간의 연결 고리를 맺는 것.

제안 방법

• 가산 이산 집합 $V$ 위의 정재성 핵 이론을 사용하여 재생 성질 $f(x) = \langle f, k_x \rangle_\mathscr{H}$를 통해 관련 RKHSs $\mathscr{H}(k)$를 정의한다.
• 저항망에서의 RKHS 보편성 증명을 위해 스톤-바이어슈트라스 정리를 적용하며, 이는 도전 함수 $c$에 대한 조건을 필요로 한다.
• 그래프 라플라스 연산자의 에너지 형식과 저항 거리 척도를 사용하여 디랙 질량 $\delta_x$ 의 $\mathscr{H}$-노름을 계산한다.
• 지역 도전도 및 경로 구조에 따라 $\|\delta_x\|_\mathscr{H}^2$ 의 명시적 공식을 유도하며, 예를 들어 이진 트리의 경우 $\|\delta_\alpha\|_\mathscr{H}^2 = \frac{2}{r(l(\alpha))} + \frac{1}{r(l(\alpha)-1)}$ 이다.
• 디리클레 형식을 통해 그래프 라플라스 연산자의 그린 함수의 RKHS와 에너지-힐버트 공간 사이의 등장사상(isomorphism)을 설정한다.
• 정점 집합 위의 저항 거리 척도의 메트릭 완비화를 사용하여 점질량의 수렴성 및 경계 행동을 분석한다.

실험 결과

연구 질문

• RQ1 가산 이산 집합 $V$ 위의 정재성 핵 $k$ 에 대해, 관련 RKHS $\mathscr{H}(k)$ 에서 디랙 질량 $\delta_x$ 가 유한한 노름을 가지는 조건은 무엇인가?
• RQ2 이산 브라운 운동 및 브라운 운동 다리 과정에서 디랙 질량은 RKHS에 속하는가? 그 노름은 얼마인가?
• RQ3 도전 함수 $c$ 를 가진 무한 저항망과 관련된 RKHS 는 모든 디랙 질량을 포함하는가? 그리고 연속 함수를 컴act 부분집합에서 균일 근사할 수 있는가?
• RQ4 저항망 또는 나무 구조에서 디랙 질량 $\delta_x$ 의 $\mathscr{H}$-노름에 대한 명시적 공식은 무엇인가?
• RQ5 무한 저항망의 정점 집합 $V$ 에서의 저항 거리 척도는 메트릭 완비화 및 RKHS 내 디랙 질량의 노름과 어떻게 관련이 있는가?

주요 결과

• 디랙 질량 $\delta_x$ 는 이산 브라운 운동 및 저항망 모델에서 유한한 $\mathscr{H}$-노름을 가지며, 이는 정리 4.13 및 추론 4.5 에서 입증되었다.
• 도전도 $c_{\alpha,\alpha t} = 1/r(l(\alpha))$ 를 가진 이진 트리에서 $\delta_\alpha$ 의 노름은 $\|\delta_\alpha\|_\mathscr{H}^2 = \frac{2}{r(l(\alpha))} + \frac{1}{r(l(\alpha)-1)}$ 이며, $\alpha$ 가 경계에 수렴함에 따라 발산한다.
• 그래프 라플라스 연산자의 그린 함수로부터 유도된 RKHS 는 에너지-힐버트 공간과 등장사상(isometric)이며, 모든 디랙 질량이 이 공간에 속한다.
• 저항망과 관련된 RKHS 는 보편적이다: 이는 $V$ 의 메트릭 완비화의 컴팩트 부분집합에서 어떤 연속 함수라도 균일 근사할 수 있다.
• 이항 RKHS 에서는 디랙 질량 $\delta_x$ 가 유한한 노름을 가지지 않으며, 이는 정리 3.18 에서 입증되었다.
• 무한 저항망의 정점 집합 $V$ 에서의 저항 거리 척도는 $\widetilde{R^{(c)}}(\omega,\omega') = 2\sum_{n=l(\omega \cap \omega')}^{\infty} r(n)$ 를 만족하며, 이 메트릭 완비화는 나무의 경계와 등장사상이다.