[论文解读] Chebyshev Approximations to the Histogram $\chi^2$ Kernel

Fuxin Li, Guy Lebanon+1 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Image and Video Retrieval Techniques被引用 3

一句话总结

本文提出了一种通过基础方法推导的几何收敛切比雪夫近似，用于$χ^2$核，该方法可自适应输入分布以实现最优收敛速度。在PASCAL VOC 2010和ImageNet ILSVRC 2010上的实验表明，使用随机傅里叶特征时，图像分类和语义分割任务的性能显著提升，尤其在对联合训练和测试数据进行核外主成分分析（PCA）时效果更佳。

ABSTRACT

We propose a new analytical approximation to the $\chi^2$ kernel that converges geometrically. The analytical approximation is derived with elementary methods and adapts to the input distribution for optimal convergence rate. Experiments show the new approximation leads to improved performance in image classification and semantic segmentation tasks using a random Fourier feature approximation of the $\exp-\chi^2$ kernel. Besides, out-of-core principal component analysis (PCA) methods are introduced to reduce the dimensionality of the approximation and achieve better performance at the expense of only an additional constant factor to the time complexity. Moreover, when PCA is performed jointly on the training and unlabeled testing data, further performance improvements can be obtained. Experiments conducted on the PASCAL VOC 2010 segmentation and the ImageNet ILSVRC 2010 datasets show statistically significant improvements over alternative approximation methods.

研究动机与目标

• 开发一种新的$χ^2$核解析近似方法，其收敛速度优于现有方法，且收敛速度为几何级。
• 使近似方法能够自适应输入数据分布，以实现最优收敛速率。
• 通过随机傅里叶特征近似方法，提升图像分类与语义分割任务中$χ^2$核的性能。
• 通过核外主成分分析（PCA）降低近似的维度，同时保持时间复杂度仅增加常数因子。
• 探索对训练数据和未标注测试数据联合进行PCA，以进一步提升性能。

提出的方法

• 使用基础解析方法推导$χ^2$核的切比雪夫级数近似。
• 将近似方法自适应调整至输入分布，以实现最优收敛速率。
• 对$χ^2$核应用随机傅里叶特征近似，以实现高效核方法部署。
• 引入核外主成分分析（PCA）以降低近似的维度，同时仅使时间复杂度增加常数因子。
• 对训练数据和未标注测试数据联合执行PCA，以提升泛化能力与性能。
• 将所得低维特征用于下游的图像分类与语义分割任务。

实验结果

研究问题

• RQ1 基于切比雪夫的$χ^2$核解析近似能否实现几何收敛速率？
• RQ2 将近似方法自适应调整至输入分布是否能提升收敛速度与性能？
• RQ3 当与随机傅里叶特征结合使用时，所提出的近似方法能否提升图像分类与语义分割的性能？
• RQ4 核外主成分分析（PCA）在多大程度上可降低维度，同时保持性能？
• RQ5 对训练数据和未标注测试数据联合执行PCA是否能带来可测量的性能提升？

主要发现

• 所提出的切比雪夫近似实现几何收敛，其收敛速度优于非自适应或基于多项式的方法。
• 将近似方法自适应调整至输入分布可显著加快收敛速度并提升模型性能。
• 在PASCAL VOC 2010和ImageNet ILSVRC 2010数据集上，该方法在图像分类与语义分割任务中均实现了统计上显著的性能提升。
• 核外主成分分析（PCA）仅使时间复杂度增加常数因子，即可显著降低维度，同时保持高性能。
• 对训练数据和未标注测试数据联合执行PCA，可进一步提升性能，优于仅对训练数据进行标准PCA的结果。
• 自适应切比雪夫近似与联合PCA的结合，在基于核的方法图像识别任务中达到了当前最优性能。