[논문 리뷰] Representation by Integrating Reproducing Kernels

Thomas Hotz, Fabian J. E. Telschow|arXiv (Cornell University)|2012. 02. 20.

Neural Networks and Applications참고 문헌 16인용 수 3

한 줄 요약

이 논문은 측도 공간 위에서 매개변수화된 재생 커널의 가감을 직접 적분을 사용하여 통합하는 일반적인 프레임워크를 개발한다. 점별 적분이 직접 적분에 대한 합산 연산자의 상으로서 새로운 재생 커널 힐버트 공간을 생성함을 보여주며, 주요 기여는 메르서 커널, 반경기반 함수의 척도 혼합, 적분 변환과 같은 다양한 커널 구성 방식을 하나의 이론적 틀 안에서 통합한 데 있다. 이는 역 문제 및 샘플링 이론 분야에서 새로운 적용 가능성을 열어준다.

ABSTRACT

Based on direct integrals, a framework allowing to integrate a parametrised family of reproducing kernels with respect to some measure on the parameter space is developed. By pointwise integration, one obtains again a reproducing kernel whose corresponding Hilbert space is given as the image of the direct integral of the individual Hilbert spaces under the summation operator. This generalises the well-known results for finite sums of reproducing kernels; however, many more special cases are subsumed under this approach: so-called Mercer kernels obtained through series expansions; kernels generated by integral transforms; mixtures of positive definite functions; and in particular scale-mixtures of radial basis functions. This opens new vistas into known results, e.g. generalising the Kramer sampling theorem; it also offers interesting connections between measurements and integral transforms, e.g. allowing to apply the representer theorem in certain inverse problems, or bounding the pointwise error in the image domain when observing the pre-image under an integral transform.

연구 동기 및 목표

• 측도 공간 위에서 매개변수화된 재생 커널의 가감을 위한 일반적인 수학적 프레임워크를 개발하는 것.
• 각각의 힐버트 공간의 직접 적분이 합산 연산자에 의해 상으로 나타나는 결과로 생성된 재생 커널 힐버트 공간을 기술하는 것.
• 메르서 커널, 반경기반 함수의 척도 혼합, 적분 변환과 같은 기존의 양의 정부호 함수 구성 방식을 통합하고 일반화하는 것.
• 커널 방법과 적분 변환, 그리고 표현 정리와의 연결을 통해 역 문제 및 샘플링 이론 분야에서 새로운 응용 가능성을 열어주는 것.
• 적분 변환에 대한 사전 영역에서의 관측 결과에 기반해 이미지 영역에서의 점별 오차에 대한 경계를 제공하는 것.

제안 방법

• 측도 공간 $(\Omega, \mathcal{A}, \mu)$ 위에서 힐버트 공간의 직접 적분을 사용하여 재생 커널 힐버트 공간의 직접 합을 일반화한다.
• 측정 가능성과 적분 가능성 조건을 만족시키는 조건 하에서 점별 적분을 통해 통합된 커널을 정의한다: $K(x,y) = \int_\Omega K_\omega(x,y) \, d\mu(\omega)$, 이는 유효한 재생 커널이 되도록 보장한다.
• 결과로 생성된 힐버트 공간을 직접 적분 $\int_\Omega^\oplus \mathcal{H}_\omega \, d\mu$ 가 합산 연산자 $S$ 에 의해 상으로 나타나는 것으로 기술한다.
• 특수 케이스에 적용: 적분 변환, 메르서 전개, 양의 정부호 함수의 혼합, 반경기반 함수.
• 정규화된 손실 함수를 최소화하는 문제를 해결하기 위해 $\mathrm{L}_2(\Omega, \mu)$ 에서의 표현 정리를 사용한다.
• 보간의 사전 영역에서의 오차에 대한 경계를 유도하며, 이미지 영역에서의 점별 오차를 파wr 함수와 커널 노름과 연결한다.

실험 결과

연구 질문

• RQ1 측도 공간 위에서 색인화된 재생 커널의 가감을 어떻게 통합하여 새로운 재생 커널을 도출할 수 있는가?
• RQ2 그러한 통합 과정을 통해 생성된 재생 커널 힐버트 공간의 구조는 어떠한가?
• RQ3 메르서 커널, 반경기반 함수의 척도 혼합, 적분 변환과 같은 고전적 구성 방식들이 이 일반적 프레임워크에 어떻게 통합되는가?
• RQ4 앞서 지정된 맵이 적분 변환인 경우, $\mathrm{L}_2(\Omega, \mu)$ 에서 표현 정리를 적용하여 역 문제를 해결할 수 있는가?
• RQ5 사전 영역에서의 보간을 통해 함수를 근사할 때, 이미지 영역에서의 점별 오차에 대해 어떤 경계를 설정할 수 있는가?

주요 결과

• 가족 $\{K_\omega\}$ 가 측정 가능성과 적분 가능성 조건을 만족할 경우, 통합된 커널 $K(x,y) = \int_\Omega K_\omega(x,y) \, d\mu(\omega)$ 는 유효한 재생 커널이 된다.
• 결과로 생성된 재생 커널 힐버트 공간은 합산 연산자 $S$ 에 의해 직접 적분 $\int_\Omega^\oplus \mathcal{H}_\omega \, d\mu$ 의 상과 등록 등장하는 등록 등장이 가능한 등장성과 일치한다.
• 이 프레임워크는 커널의 유한 합을 일반화하며, 적분 변환, 급수 전개, 혼합을 통한 모든 알려진 양의 정부호 함수 구성 방식을 포함한다.
• 샘플링 방정식을 매개변수 공간 위에서 커널을 통합함으로써 유도된 것으로 간주함으로써, 케이머 샘플링 정리는 일반화된다.
• 역 문제의 경우, 표현 정리는 $\mathrm{L}_2(\Omega, \mu)$ 에 적용 가능하여 정규화된 최소화 문제를 유한 차원 최적화로 해결할 수 있다.
• 점별 오차 경계가 도출된다: $|S(a)(x) - S(a_W)(x)| \leq \|a\|_{\mathcal{G}} \|P_W\|_{\mathrm{L}_2(\Omega,\mu)} \|k(x,\cdot)\|_{\mathrm{L}_2(\Omega,\mu)}$, 여기서 $P_W$ 는 보간자의 파워 함수이다.