[論文レビュー] Generalized Mercer Kernels and Reproducing Kernel Banach Spaces

Yuesheng Xu, Qi Ye|arXiv (Cornell University)|Dec 30, 2014

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

この論文は、$p$-ノルム（$1 \leq p \leq \infty$）に対する再生核バナッハ空間（RKBS）を構築するために一般化されたメルサーカーネルを導入し、スパarsityとヒルバート空間よりも優れた幾何的性質を備えた適切に定式化された機械学習を可能にする。主な貢献は、$p$-ノルムRKBSにおける無限次元サポートベクターマシンが、有限次元凸最適化問題に還元可能であることを示したことである。特に、$1$-ノルムRKBSは古典的な$1$-ノルムスパース回帰と等価である。

ABSTRACT

This article studies constructions of reproducing kernel Banach spaces (RKBSs) which may be viewed as a generalization of reproducing kernel Hilbert spaces (RKHSs). A key point is to endow Banach spaces with reproducing kernels such that machine learning in RKBSs can be well-posed and of easy implementation. First we verify many advanced properties of the general RKBSs such as density, continuity, separability, implicit representation, imbedding, compactness, representer theorem for learning methods, oracle inequality, and universal approximation. Then, we develop a new concept of generalized Mercer kernels to construct $p$-norm RKBSs for $1\leq p\leq\infty$. The $p$-norm RKBSs preserve the same simple format as the Mercer representation of RKHSs. Moreover, the $p$-norm RKBSs are isometrically equivalent to the standard $p$-norm spaces of countable sequences. Hence, the $p$-norm RKBSs possess more geometrical structures than RKHSs including sparsity. The generalized Mercer kernels also cover many well-known kernels, for example, min kernels, Gaussian kernels, and power series kernels. Finally, we propose to solve the support vector machines in the $p$-norm RKBSs, which are to minimize the regularized empirical risks over the $p$-norm RKBSs. We show that the infinite dimensional support vector machines in the $p$-norm RKBSs can be equivalently transferred to finite dimensional convex optimization problems such that we obtain the finite dimensional representations of the support vector machine solutions for practical applications. In particular, we verify that some special support vector machines in the $1$-norm RKBSs are equivalent to the classical $1$-norm sparse regressions. This gives fundamental supports of a novel learning tool called sparse learning methods to be investigated in our next research project.

研究の動機と目的

• 半内積に依存しない再生核バナッハ空間（RKBS）を体系的に構築するフレームワークを確立すること。
• バナッハ空間に再生核を付与し、機械学習が適切に定式化され、計算的に実行可能であるようにすること。
• メルサーカーネル表現の単純さを保ちつつ、スパarsityとより豊かな幾何的構造を実現する$p$-ノルムRKBSを確立すること。
• $p$-ノルムRKBSにおけるサポートベクターマシンが、実装可能である有限次元凸最適化問題に還元可能であることを示すこと。
• 1-ノルムRKBSのSVMと古典的な1-ノルムスパース回帰との等価性を示し、スパース学習手法の理論的基盤を提供すること。

提案手法

• 古典的メルサーカーネルの一般化として、$L^p$-可積分な固有関数を用いた固有関数展開で定義される一般化されたメルサーカーネルの概念を導入する。
• 一般化されたメルサーカーネルが可算列の$\ell^p$空間への等長同型写像を誘導することを保証することで、$1 \leq p \leq \infty$に対する$p$-ノルムRKBSを構築する。
• シュードバーストおよび双対基底系の表現を用いて、$p$-ノルムRKBSの構造を特徴づけ、明示的な関数展開を可能にする。
• 学習における$p$-ノルムRKBSにおける表象定理を確立し、解が有限次元表現を備えることを保証する。
• $p$-ノルムRKBSにおけるサポートベクターマシンを正則化された経験的リスク最小化問題として定式化し、解が有限次元凸計画問題と等価であることを示す。
• $1$-ノルムRKBSのSVMが古典的な$1$-ノルムスパース回帰と等価であることを検証し、スパース学習の理論的基盤を提供する。

実験結果

リサーチクエスチョン

• RQ1 半内積に依存せずに再生核バナッハ空間を体系的に構築することは可能か？
• RQ2 一般化されたメルサーカーネルを定義することで、すべての$1 \leq p \leq \infty$に対して$p$-ノルムRKBSを生成し、メルサーカーネル表現の単純さを保てるか？
• RQ3 $p$-ノルムRKBSは、表象定理、オракル不等式、普遍近似性といった良好な性質を継承するか？
• RQ4 $p$-ノルムRKBSにおけるサポートベクターマシンは、実装可能な有限次元凸最適化問題に還元可能か？
• RQ5 $1$-ノルムRKBSのSVMと古典的な$1$-ノルムスパース回帰との間に理論的等価性があるか？

主な発見

• 一般化されたメルサーカーネルを用いて構築された$p$-ノルムRKBSは、可算列の標準的$\ell^p$空間と等長同型であり、幾何的および構造的性質を保っている。
• 一般化されたメルサーカーネルの構成は、ミンカーネル、ガウスカーネル、およびべき級数カーネルなど、既知のカーネルをカバーしており、それらの適用範囲をバナッハ空間へ拡張している。
• $p$-ノルムRKBSにおいて表象定理が成立し、学習の解が訓練データのみを用いた有限次元表現を備えることが保証されている。
• $p$-ノルムRKBSにおけるサポートベクターマシンは、有限次元凸最適化問題に等価に変換可能であり、実装が可能である。
• $1$-ノルムの場合、SVMの解は古典的な$1$-ノルムスパース回帰と等価であり、スパース学習に対するフレームワークの妥当性が裏付けられている。
• このフレームワークは普遍近似とオラクル不等式をサポートしており、$p$-ノルムRKBSにおける学習の理論的整合性を保証している。