[论文解读] Kernels on Sample Sets via Nonparametric Divergence Estimates

Danica J. Sutherland, Liang Xiong+2 more|arXiv (Cornell University)|Feb 1, 2012

Face and Expression Recognition参考文献 62被引用 17

一句话总结

本文提出了一种基于k-NN距离的分歧估计器来非参数地估计概率分布之间的核函数，从而实现对样本集的机器学习。该方法使核机能够在分布层面操作，实现了在分布级数据上的分类、回归、异常检测和流形学习任务的最先进性能，且无需密度估计，具有稳定的估计能力。

ABSTRACT

Most machine learning algorithms, such as classification or regression, treat the individual data point as the object of interest. Here we consider extending machine learning algorithms to operate on groups of data points. We suggest treating a group of data points as an i.i.d. sample set from an underlying feature distribution for that group. Our approach employs kernel machines with a kernel on i.i.d. sample sets of vectors. We define certain kernel functions on pairs of distributions, and then use a nonparametric estimator to consistently estimate those functions based on sample sets. The projection of the estimated Gram matrix to the cone of symmetric positive semi-definite matrices enables us to use kernel machines for classification, regression, anomaly detection, and low-dimensional embedding in the space of distributions. We present several numerical experiments both on real and simulated datasets to demonstrate the advantages of our new approach.

研究动机与目标

• 将核机扩展至以数据点组作为输入，将每组视为来自潜在分布的样本集。
• 解决将数据点组表示为机器学习特征的挑战，尤其是在传统向量化方法失效或引入偏差时。
• 基于仅使用k-NN距离的非参数估计，提出一种核函数在分布之间的一致估计器，避免密度估计的需求。
• 在分布空间上实现监督与无监督学习任务（如分类、回归、异常检测与降维）

提出的方法

• 使用基于k-NN距离的Rényi分歧估计器，非参数地估计分布之间的核函数。
• 利用f-分歧的变分表征，推导出无需显式密度估计的一致估计器。
• 将估计的Gram矩阵投影到对称半正定矩阵锥上，以确保核机使用的核函数有效性。
• 采用广义核框架，通过非参数分歧估计支持在分布上使用线性、多项式与高斯核。
• 在SVM中使用估计的核矩阵进行分类与回归，在LLE中用于分布的低维嵌入。
• 在真实与模拟数据上验证该方法，包括图像边缘集合与旋转高斯分布，展示了其鲁棒性与一致性。

实验结果

研究问题

• RQ1 能否通过将数据点组建模为潜在分布的样本，有效将核机扩展至在数据点组上操作？
• RQ2 如何从有限的i.i.d.样本集出发，一致地估计分布之间的核函数，而无需密度估计？
• RQ3 基于k-NN距离的非参数分歧估计器在分布级学习中是否能优于参数化或基于密度的核估计方法？
• RQ4 与传统基于点的方法相比，分布级核机在异常检测与流形学习等任务中的性能提升程度如何？
• RQ5 当输入为特征集或图像时，分布级回归与嵌入能否保持局部几何结构？

主要发现

• 在从样本集学习Beta(a,3)分布偏度的任务中，该方法实现了0.012的测试RMSE，表明在非参数回归中具有高精度。
• 在旋转2D高斯分布的一维边缘微分熵估计中，该方法实现了0.058的测试RMSE，显示出在复杂分布回归中的鲁棒性。
• 在分布上应用局部线性嵌入（LLE）成功保持了旋转高斯分布的局部几何结构，而基于边缘检测图像的欧氏距离则失败。
• 在COIL-100数据集上，使用边缘检测图像的分布级表示的LLE能正确将相邻旋转映射为邻近点，而标准LLE则失败。
• 所提出的非参数核估计器避免了密度估计，且在弱正则性条件下提供一致的核估计，在真实分布不属于指数族时优于参数化替代方法。
• 该方法将LLE推广至分布空间，实现了对分布数据的有效低维嵌入，同时保持了内在几何结构。