[论文解读] Functional learning through kernels

Stéphane Canu, Xavier Mary+1 more|arXiv (Cornell University)|Oct 6, 2009

Neural Networks and Applications参考文献 18被引用 31

一句话总结

本文通过引入广义再生核对偶性，将再生核希尔伯特空间（r.k.h.s.）推广至非希尔伯特空间设置，从而支持非正定核、非希尔伯特范数（如L¹）以及任意稳定化项。该研究建立了广义的表示定理，证明即使在非希尔伯特框架下，学习问题的解仍保持为核函数的线性组合，从而在更广泛的理论框架下统一了多种学习机器。

ABSTRACT

This paper reviews the functional aspects of statistical learning theory. The main point under consideration is the nature of the hypothesis set when no prior information is available but data. Within this framework we first discuss about the hypothesis set: it is a vectorial space, it is a set of pointwise defined functions, and the evaluation functional on this set is a continuous mapping. Based on these principles an original theory is developed generalizing the notion of reproduction kernel Hilbert space to non hilbertian sets. Then it is shown that the hypothesis set of any learning machine has to be a generalized reproducing set. Therefore, thanks to a general "representer theorem", the solution of the learning problem is still a linear combination of a kernel. Furthermore, a way to design these kernels is given. To illustrate this framework some examples of such reproducing sets and kernels are given.

研究动机与目标

• 为理论学习框架与实际学习机器之间存在的差距提供解决方案，后者使用非正定或非希尔伯特正则化项。
• 建立一个保持r.k.h.s.核心性质但无需依赖希尔伯特空间结构的功能学习通用框架。
• 推导适用于非希尔伯特假设集的广义表示定理。
• 提供一种系统化方法，从任意稳定化项和对偶配对构造核与假设空间。
• 在统一的理论基础下整合多种学习方法，如使用tanh核或L¹正则化的模型。

提出的方法

• 提出一种基于对偶性的框架，用两个不同空间之间的对偶映射替代内积：一个用于假设，一个用于评估。
• 通过要求评估泛函在假设空间上连续，定义广义再生核对偶性。
• 通过双重性构造假设空间，将标准r.k.h.s.的构造从希尔伯特空间推广至非希尔伯特空间设置。
• 将该框架应用于示例，如(L¹, L∞)对偶性以及具有逐点收敛拓扑的所有实值函数空间。
• 证明任意在可分希尔伯特空间上的核算子均可表示为矩阵，从而可从ℓ²结构系统构建可分广义r.k.h.s.。
• 通过证明学习问题的解在非希尔伯特空间中仍为在训练点处取值的核函数的线性组合，推导出广义表示定理。

实验结果

研究问题

• RQ1 再生核理论能否在不依赖希尔伯特空间的条件下被推广，同时保持解通过核展开表示等关键学习性质？
• RQ2 如何在统一的学习框架中正式证明非正定核（如tanh核）和非希尔伯特范数（如L¹）的合理性？
• RQ3 在非希尔伯特假设空间中，如何确保评估泛函保持连续性？
• RQ4 是否存在一个适用于使用任意稳定化项和非希尔伯特范数的学习机器的广义表示定理？
• RQ5 如何系统化地构造核算子，以生成广义再生核对偶性？

主要发现

• 任何学习机器的假设空间必须是广义再生集，从而确保解可表示为核函数的线性组合。
• 评估泛函在假设空间上连续，这是稳定函数估计的基础性要求。
• 非正定核（如双曲正切核）可在广义框架中得到正式证明。
• 通过定义保持再生性质的对偶空间对，该框架支持非希尔伯特范数（如L¹和L∞）。
• 可从标准ℓ²空间通过核算子系统构建可分广义r.k.h.s.，从而实现实际应用。
• 广义表示定理成立：即使在非希尔伯特空间中，学习问题的解仍为在训练输入处取值的核函数的线性组合。