[논문 리뷰] Vector valued reproducing kernel Hilbert spaces and universality

Claudio Carmeli, Ernesto De Vito외 2명|ArXiv.org|2008. 07. 10.

Mathematical Analysis and Transform Methods참고 문헌 26인용 수 6

한 줄 요약

이 논문은 특징 맵, 보편 핵함수, 이동 불변 핵함수에 중점을 두어 벡터 값 재생 핵 힐버트 공간(vRKHS)의 종합적인 이론을 수립한다. 보편성의 조건이 핵함수와 관련된 적분 연산자의 단사성과 동치임을 증명하며, 연속성 조건 하에서 $ C_0(X;\tilde{Y}) $ 에서의 조밀성과 $ L^2(X,\mu;\tilde{Y}) $ 에서의 조밀성에 의해 각각 컴팩트 보편성과 표준 보편성을 특성화한다.

ABSTRACT

This paper is devoted to the study of vector valued reproducing kernel Hilbert spaces. We focus on two aspects: vector valued feature maps and universal kernels. In particular we characterize the structure of translation invariant kernels on abelian groups and we relate it to the universality problem.

연구 동기 및 목표

• 스칼라 값 재생 핵 힐버트 공간(RKHS) 이론을 벡터 값 경우로 확장하고, 특히 학습 이론의 맥락에서 다룬다.
• 벡터 값 RKHS에서의 보편성 정의를 명확히 하고 통합하며, 표준 보편성과 컴팩트 보편성 간의 차이를 명시한다.
• 핵함수와 관련된 적분 연산자의 단사성에 기반한 보편성의 특성화를 수립한다.
• 벡터 값 핵함수에 대한 특징 맵의 체계적 접근을 제공하여 명시적 구성과 알고리즘적 해석을 가능하게 한다.
• 아벨 군 위의 이동 불변 핵함수를 분석하고, 그 구조가 보편성 조건과 어떻게 관련되는지 규명한다.

제안 방법

• 입력 공간 $ X $ 에서 $ \mathcal{Y} $ 와 특징 공간 $ \mathcal{H} $ 사이의 유계 연산자로 가는 특징 맵을 정의함으로써 스칼라 특징 맵 프레임워크를 벡터 값 RKHS로 확장한다.
• Schur 곱셈 보조정리(lemma)를 사용하여 스칼라 핵함수와 벡터 값 핵함수의 곱을 특징 맵을 통해 특성화한다.
• Riesz-Markov-Kakutani 표현 정리를 적용하여 $ \mathcal{C}_0(X;\mathcal{Y}) $ 의 쌍대공간을 $ \mathcal{Y} $-값 측도의 공간과 동일시한다.
• 특징 맵과 관련된 $ \mathcal{Y} $-값 측도 $ \mathsf{M} $ 와 연결된 적분 연산자 $ T_\mathsf{M} $ 의 단사성으로 보편성을 특성화하며, 이는 $ L^2(X,\mu;\mathcal{Y}) $ 에서의 조밀성과 연결된다.
• 모든 확률 측도 $ \mu $ 에 대해 $ L^2(X,\mu;\mathcal{Y}) $ 에서의 조밀성인 표준 보편성과 $ \mathcal{C}_0(X;\mathcal{Y}) $ 또는 $ \mathcal{C}(X;\mathcal{Y}) $ 에서의 조밀성인 컴팩트 보편성 간의 차이를 명시한다.
• 무한한 곳에서 0이 되는 연속 함수에 대해, 보편성은 $ \mathcal{C}_0(X;\mathcal{Y}) $ 에서의 조밀성과 동치이며, 컴팩트 보편성은 컴팩트-오픈 위상에서 $ \mathcal{C}(X;\mathcal{Y}) $ 에서의 조밀성과 동치임을 증명한다.

실험 결과

연구 질문

• RQ1 입력 공간 $ X $ 가 비콤팩트일 경우, 벡터 값 RKHS에서의 보편성의 올바른 특성화는 무엇인가?
• RQ2 표준 보편성과 컴팩트 보편성의 개념은 어떻게 관련되어 있으며, 일반적으로 동치인가?
• RQ3 벡터 값 핵함수의 보편성은 관련된 적분 연산자의 단사성으로 특성화될 수 있는가?
• RQ4 벡터 값 핵함수에 대해 특징 맵를 어떻게 체계적으로 구성할 수 있으며, 학습 알고리즘에서 그 역할은 무엇인가?
• RQ5 아벨 군 위의 이동 불변 벡터 값 핵함수의 구조는 무엇이며, 보편성 조건과 어떻게 관련되는가?

주요 결과

• 벡터 값 RKHS $ \mathcal{H}_K $ 의 보편성은 $ \mathcal{H}_K $ 가 $ X $ 에서의 모든 확률 측도 $ \mu $ 에 대해 $ L^2(X,\mu;\mathcal{Y}) $ 에 조밀해질 조건과 동치이며, 이는 $ \mathcal{H}_K $ 의 원소들이 연속적이고 무한한 곳에서 0이 되는 경우에 성립한다.
• 비콤팩트인 $ X $ 에서, 표준 보편성과 컴팩트 보편성은 동치가 아니며, 논문에서 두 개의 반례로 이를 입증한다.
• 콤팩트 보편성은 컴팩트-오픈 위상에서 $ \mathcal{C}(X;\mathcal{Y}) $ 에서의 $ \mathcal{H}_K $ 의 조밀성과 동치이다.
• $ \mathcal{Y} $-값 측도 $ \mathsf{M} $ 와 연결된 적분 연산자 $ T_\mathsf{M} $ 가 단사임과 동시에 $ \mathcal{H}_K $ 가 $ \mathcal{C}_0(X;\mathcal{Y}) $ 에 조밀해짐이 동치이며, 이는 보편성에 대한 함수해석학적 기준을 제공한다.
• 특징 맵 구성은 벡터 값 RKHS를 구체적인 힐베르트 공간의 닫힌 부분공간으로 명시적으로 실현할 수 있게 하여, 정규화된 최소 제곱법과 같은 학습 과제에서 알고리즘적 구현을 용이하게 한다.
• 이전의 접근보다 더 간단하고 투명한 방법을 제공하기 위해, 특징 맵를 사용하여 벡터 값 핵함수에 대한 Schur 곱셈 보조정리의 새로운 증명을 제시한다.