[論文レビュー] Operator-Valued Bochner Theorem, Fourier Feature Maps for Operator-Valued Kernels, and Vector-Valued Learning

Hà Quang Minh|arXiv (Cornell University)|Aug 19, 2016

Gaussian Processes and Bayesian Inference参考文献 18被引用数 11

ひとこと要約

本稿では、演算子値ボッハナー定理を用いて、演算子値正定値カーネルの効率的近似を可能にする一般化されたランダム演算子値特徴写像の構築フレームワークを提案する。フーリエ特徴写像の構築に必要な確率測度を閉形式で計算する手法を提供し、演算子値の場合には一意でないが、従来の研究よりも弱い滑らかさの条件（2回微分可能性ではなく微分可能性）の下で、近似カーネルがヒルベルト＝シュミットノルムにおいて正確なカーネルに一様収束することを確立する。

ABSTRACT

This paper presents a framework for computing random operator-valued feature maps for operator-valued positive definite kernels. This is a generalization of the random Fourier features for scalar-valued kernels to the operator-valued case. Our general setting is that of operator-valued kernels corresponding to RKHS of functions with values in a Hilbert space. We show that in general, for a given kernel, there are potentially infinitely many random feature maps, which can be bounded or unbounded. Most importantly, given a kernel, we present a general, closed form formula for computing a corresponding probability measure, which is required for the construction of the Fourier features, and which, unlike the scalar case, is not uniquely and automatically determined by the kernel. We also show that, under appropriate conditions, random bounded feature maps can always be computed. Furthermore, we show the uniform convergence, under the Hilbert-Schmidt norm, of the resulting approximate kernel to the exact kernel on any compact subset of Euclidean space. Our convergence requires differentiable kernels, an improvement over the twice-differentiability requirement in previous work in the scalar setting. We then show how operator-valued feature maps and their approximations can be employed in a general vector-valued learning framework. The mathematical formulation is illustrated by numerical examples on matrix-valued kernels.

研究の動機と目的

• 演算子値カーネルのためのランダム特徴写像を計算する一般化された手法を開発し、スカラー値設定におけるランダムフーリエ特徴写像をベクトル値設定に拡張すること。
• 演算子値の場合、カーネルによって一意に定まらない確率測度が必要となるという主な課題に取り組むこと。スカラー値の場合とは異なり、カーネルから測度が一意に定まらない。
• 適切な条件下で有界なランダム特徴写像が常に構築可能であることを示し、安定性と実用性を保証すること。
• ユークリッド空間のコンパクト部分集合上で、近似カーネルが正確なカーネルにヒルベルト＝シュミットノルムにおいて一様収束することを確立すること。従来の研究よりも滑らかさの仮定を弱める。
• これらの特徴写像が再生核ヒルベルト空間における一般化されたベクトル値学習フレームワークに直接適用可能であることを示すこと。

提案手法

• 与えられた演算子値正定値カーネルから確率測度を構成する一般式を導出するために、ボッハナー定理の演算子値版を用いる。
• カーネル k に関連する確率測度 ρ を計算する閉形式の式を導入する。この ρ は k によって一意に定まらないため、無限に多くの特徴写像が得られる可能性がある。
• 計算された確率測度 ρ からのモンテカルロサンプリングによりランダム演算子値特徴写像を構築し、カーネル近似を可能にする。
• ユークリッド空間のコンパクト部分集合上で、近似カーネルが正確なカーネルにヒルベルト＝シュミットノルムにおいて一様収束することを確立する。
• 収束が微分可能なカーネルに対しても成立することを示し、従来の研究がスカラー値設定で2回微分可能性を要していたのに対し、大きな滑らかさの仮定の緩和を達成する。
• 得られた特徴写像を再生核ヒルベルト空間における一般化されたベクトル値学習定式化に直接適用し、行列値カーネルにおける数値的妥当性を確認する。

実験結果

リサーチクエスチョン

• RQ1 カーネルによって一意に定まらない確率測度が必要となる演算子値カーネルのためのランダム特徴写像を、どのように体系的かつ一貫して構築できるか？
• RQ2 どのような条件下で、演算子値カーネルに対して有界なランダム特徴写像を保証できるか？
• RQ3 2回微分可能性よりも弱い滑らかさの仮定の下でも、近似演算子値カーネルが正確なカーネルに収束することを示せるか？
• RQ4 得られた特徴写像を一般化されたベクトル値学習フレームワークにどのように効果的に統合できるか？
• RQ5 確率測度の選択と演算子値設定におけるカーネル近似の品質の関係は何か？

主な発見

• 与えられた演算子値正定値カーネルから確率測度 ρ を計算する一般化された閉形式の式が導出され、特徴写像構築における一意でない問題を解決する。
• 与えられたカーネルに対して、有界および非有界の両方の特徴写像が無限に存在しうる。適切な仮定の下では、常に有界な特徴写像が存在することが保証される。
• 任意のユークリッド空間のコンパクト部分集合上で、カーネルが微分可能である限り、近似カーネルが正確なカーネルにヒルベルト＝シュミットノルムにおいて一様収束することが証明された。
• 収束結果は、従来の研究が2回微分可能性を要していたのに対し、微分可能性のみを要件としており、滑らかさの仮定を著しく緩和した点で、前人研究を改善する。
• このフレームワークにより、演算子値特徴写像をベクトル値学習に直接適用可能であり、行列値カーネルにおける数値例により有効性が確認された。
• ヒルベルト＝シュミットノルムにおける収束は、従来の研究で確立されたスペクトルノルム収束よりも厳密に強い近似保証を提供する。