[논문 리뷰] Operator-Valued Bochner Theorem, Fourier Feature Maps for Operator-Valued Kernels, and Vector-Valued Learning

Hà Quang Minh|arXiv (Cornell University)|2016. 08. 19.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 11

한 줄 요약

이 논문은 연산자 값 Bochner 정리에 기반하여 임의의 연산자 값 특징 매핑을 구성하는 일반적인 프레임워크를 제안하며, 연산자 값 정의 긍정적 커널의 효율적 근사화를 가능하게 한다. 푸리에 특징 구축을 위한 필요한 확률 측도를 계산하는 폐쇄형 방법을 제공하며, 이는 연산자 값의 경우에 유일하지 않다는 점에서 특징을 구성하는 데 있어 중요한 문제를 해결한다. 기존 연구보다 더 약한 부드러움 조건 하에서, 특히 이중 미분 가능성이 아닌 미분 가능성 조건 하에서도 힐베르트-슈미트 노름에서 근사 커널이 정확한 커널로의 균일 수렴을 확립한다.

ABSTRACT

This paper presents a framework for computing random operator-valued feature maps for operator-valued positive definite kernels. This is a generalization of the random Fourier features for scalar-valued kernels to the operator-valued case. Our general setting is that of operator-valued kernels corresponding to RKHS of functions with values in a Hilbert space. We show that in general, for a given kernel, there are potentially infinitely many random feature maps, which can be bounded or unbounded. Most importantly, given a kernel, we present a general, closed form formula for computing a corresponding probability measure, which is required for the construction of the Fourier features, and which, unlike the scalar case, is not uniquely and automatically determined by the kernel. We also show that, under appropriate conditions, random bounded feature maps can always be computed. Furthermore, we show the uniform convergence, under the Hilbert-Schmidt norm, of the resulting approximate kernel to the exact kernel on any compact subset of Euclidean space. Our convergence requires differentiable kernels, an improvement over the twice-differentiability requirement in previous work in the scalar setting. We then show how operator-valued feature maps and their approximations can be employed in a general vector-valued learning framework. The mathematical formulation is illustrated by numerical examples on matrix-valued kernels.

연구 동기 및 목표

• 연산자 값 커널을 위한 임의의 특징 매핑을 계산하는 일반적인 방법을 개발함으로써, 스칼라 값 설정으로부터 확장된 무작위 푸리에 특징의 개념을 일반화함.
• 연산자 값의 경우에 커널에 의해 유일하게 결정되지 않는 확률 측도가 특징 구축에 필요로 하므로, 이에 대비하는 핵심 과제를 해결함.
• 적절한 조건 하에서 유계 임의의 특징 매핑이 항상 구성 가능함을 보장함으로써 안정성과 실용성을 확보함.
• 유클리드 공간의 컴act 부분집합에서 힐베르트-슈미트 노름에서 근사 커널이 정확한 커널로의 균일 수렴을 확립함. 이는 기존 연구보다 더 약한 부드러움 조건을 요구함.
• 재생 커널 힐베르트 공간을 이용한 일반적인 벡터 값 학습 프레임워크 내에서 이러한 특징 매핑의 직접 적용 가능성을 입증함.

제안 방법

• 주어진 연산자 값 정의 긍정적 커널로부터 확률 측도를 유도하기 위해 Bochner 정리의 연산자 값 형태를 사용함.
• 커널 k에 관련된 확률 측도 ρ를 계산하는 폐쇄형 표현을 도입함. 이는 k에 의해 유일하게 결정되지 않으며, 이로 인해 잠재적으로 무한한 수의 특징 매핑이 가능함.
• 계산된 확률 측도 ρ에서 몬테카를로 샘플링을 통해 임의의 연산자 값 특징 매핑을 구성함으로써 커널 근사화를 가능하게 함.
• 유클리드 공간의 컴act 부분집합에서 근사 커널이 정확한 커널로의 힐베르트-슈미트 노름에서의 균일 수렴을 확립함.
• 기존 연구가 스칼라 경우에 이중 미분 가능성을 요구하는 데 비해, 이 연구는 미분 가능성 조건만으로도 수렴이 성립함을 입증함.
• 유도된 특징 매핑을 재생 커널 힐베르트 공간 내에서 일반적인 벡터 값 학습 형식에 직접 적용하며, 행렬 값 커널에 대한 수치적 검증을 수행함.

실험 결과

연구 질문

• RQ1 커널에 의해 유일하게 결정되지 않는 확률 측도가 필요로 할 때, 연산자 값 커널을 위한 임의의 특징 매핑을 체계적으로 어떻게 구성할 수 있는가?
• RQ2 연산자 값 커널에 대해 유계 임의의 특징 매핑이 보장될 수 있는 조건은 무엇인가?
• RQ3 이중 미분 가능성보다 더 약한 부드러움 조건 하에서도 근사 연산자 값 커널이 정확한 커널로 수렴할 수 있는가?
• RQ4 유도된 특징 매핑은 일반적인 벡터 값 학습 프레임워크에 어떻게 효과적으로 통합될 수 있는가?
• RQ5 확률 측도의 선택과 연산자 값 설정에서 커널 근사의 품질 간의 관계는 무엇인가?

주요 결과

• 주어진 연산자 값 정의 긍정적 커널로부터 확률 측도 ρ를 계산하는 일반적인 폐쇄형 공식을 유도함으로써, 특징 매핑 구성에서의 비유일성 문제를 해결함.
• 주어진 커널에 대해 잠재적으로 무한한 수의 임의의 특징 매핑이 존재하며, 이는 유계 및 비유계 변형을 포함함. 유계 매핑은 적절한 가정 하에서 항상 존재함.
• 유클리드 공간의 임의의 컴act 부분집합에서, 커널이 미분 가능할 조건 하에 근사 커널이 정확한 커널로의 힐베르트-슈미트 노름에서의 균일 수렴이 증명됨.
• 기존 연구가 이중 미분 가능성을 요구하는 데 비해, 이 연구는 단지 미분 가능성만 요구함으로써 부드러움 조건을 상당히 완화함.
• 이 프레임워크를 통해 연산자 값 특징 매핑이 벡터 값 학습에 직접 적용 가능하며, 행렬 값 커널에 대한 수치 예제를 통해 효과성이 확인됨.
• 힐베르트-슈미트 노름에서의 수렴은 이전 연구에서 확립된 스펙트럴 노름 수렴보다 엄밀히 더 강력한 수렴 보장 제공함.