[論文レビュー] Constructions of Reproducing Kernel Banach Spaces via Generalized Mercer Kernels

Yuesheng Xu, Qi Ye|arXiv (Cornell University)|Dec 30, 2014

Sparse and Compressive Sensing Techniques参考文献 55被引用数 6

ひとこと要約

この論文は、p-ノルム再現核バナッハ空間（RKBS）を構築するために一般化されたメルサーカーネルを導入し、再現核ヒルベルト空間（RKHS）の理論を拡張する。これらのp-ノルムRKBSが標準p-ノルム系列空間と等長同型であることを確立し、スパース表現とサポートベクターマシンの有限次元解法を、代表定理とコンパクト性の性質によって可能にする。

ABSTRACT

This article mainly studies with the constructions of reproducing kernel Banach spaces (RKBSs) that are the generalization of reproducing kernel Hilbert spaces (RKHSs). Firstly, we verify many advance properties of the general RKBSs such as density, continuity, implicit representation, imbedding, compactness, and representer theorems for learning methods. Next, we develop a new concept of generalized Mercer kernels to construct the $p$-norm RKBSs for $1\leq p\leq\infty$. The $p$-norm RKBSs preserve the same simple format as the Mercer representation of RKHSs. Moreover, the p-norm RKBSs are isometrically equivalent to the standard p-norm spaces of countable sequences; hence the $p$-norm RKBSs possess more abundant geometrical structures than RKHSs including sparsity. To be more precise, the suitable countable expansion terms of the generalized Mercer kernels can be used to represent the pairs of Schauder bases and biorthogonal systems of the $p$-norm RKBSs such that the generalized Mercer kernels become the reproducing kernels of the $p$-norm RKBSs. The theory of the generalized Mercer kernels also cover many well-known kernels, for instance, min kernels, Gaussian kernels, and power series kernels. Finally, we propose to solve the support vector machines in the $p$-norm RKBSs, which are to minimize the regularized empirical risks over the $p$-norm RKBSs. We show that the infinite-dimensional support vector machines in the $p$-norm RKBSs can be equivalently transferred into the finite dimensional convex optimization problems such that we can obtain the finite dimensional representations of their support vector machine solutions for practical applications and computer programs. In particular, we verify that some typical support vector machines in the $1$-norm RKBSs are equivalent to the classical $1$-norm sparse regressions.

研究の動機と目的

• 再現核ヒルベルト空間（RKHS）の理論を、より豊かな幾何構造を持つ一般の再現核バナッハ空間（RKBS）へと拡張すること。
• 1 ≤ p ≤ ∞ に対して、p-ノルムRKBSを体系的に構築できる新しいクラスの一般化されたメルサーカーネルを開発すること。
• p-ノルムRKBSと標準p-ノルム系列空間との間の等長同型を確立し、より豊かな幾何的性質とスパース性を実現すること。
• 無限次元問題を有限次元凸最適化問題に還元することで、p-ノルムRKBSにおけるサポートベクターマシンの定式化と解法を可能にすること。
• 1-ノルムRKBSに基づくSVMが古典的1-ノルムスパース回帰と等価であり、実用的学習におけるスパース性が妥当であることを実証すること。

提案手法

• 古典的メルサーカーネルがRKHSにおいて持つ構造的単純性を保ちつつ、p-ノルムRKBSを生成する新しいクラスの一般化されたメルサーカーネルを導入する。
• p-ノルムRKBSが標準p-ノルム系列空間と等長同型であることを証明し、カーネルが関数値を再現する役割を保持することを保証する。
• 一般化されたメルサーカーネルから導かれるシュアウド基底および双対基底系の展開を用いて、p-ノルムRKBS内に属する要素を表現する。
• p-ノルムRKBSにおける学習の代表定理を確立し、解がカーネル関数の有限線形結合として表現可能であることを保証する。
• p-ノルムRKBSにおける正則化された経験的リスク最小化を定式化し、有限次元凸最適化問題と等価であることを示す。
• 1-ノルムRKBSに基づくサポートベクターマシンが、古典的1-ノルムスパース回帰に還元されることを実証し、解のスパース性を確認する。

実験結果

リサーチクエスチョン

• RQ1 一般化されたメルサーカーネルを用いて、RKHSを一般化するp-ノルム再現核バナッハ空間を構築できるか？
• RQ2 p-ノルムRKBSは標準p-ノルム系列空間と等長同型であるか。これにより、より豊かな幾何的性質とスパース構造が実現可能か？
• RQ3 p-ノルムRKBSにおけるサポートベクターマシンは、実装のための有限次元凸最適化問題に還元可能か？
• RQ4 1-ノルムRKBSに基づくサポートベクターマシンは、古典的1-ノルムスパース回帰法と等価か？
• RQ5 一般化されたメルサーカーネルは、minカーネル、ガウスカーネル、および累乗級数カーネルといったよく知られたカーネルとどのように関係しているか？

主な発見

• 一般化されたメルサーカーネルは、バナッハ空間への一般化されたメルサーカーネルフレームワークを、p-ノルムRKBSの体系的構築法として提供する。
• p-ノルムRKBSは標準p-ノルム系列空間と等長同型であり、RKHSよりも豊かな幾何的性質とスパース性を有する。
• 一般化されたメルサーカーネルの理論は、minカーネル、ガウスカーネル、累乗級数カーネルといったよく知られたカーネルを特別な場合として含む。
• p-ノルムRKBSにおけるサポートベクターマシンは、有限次元凸最適化問題に等価に変換可能であり、実用的計算を可能にする。
• 1-ノルムRKBSに基づくサポートベクターマシンは、数学的に古典的1-ノルムスパース回帰と等価であり、スパース性を促進する性質が確認される。
• p-ノルムRKBSにおける代表定理により、学習問題の解がカーネル関数の有限線形結合として表現可能であることが保証され、数値的実装が可能になる。