[论文解读] Learning with Group Invariant Features: A Kernel Perspective

Youssef Mroueh, Stephen Voinea+1 more|arXiv (Cornell University)|Jun 8, 2015

Neural Networks and Applications参考文献 24被引用 10

一句话总结

本文提出一种基于群不变信号签名的随机特征映射，通过群变换随机投影的累积分布函数实现，证明其可通过哈尔积分近似群不变核。该方法实现了对不变核的统一收敛，可在再生核希尔伯特空间中实现稠密函数空间近似，并在监督学习中降低样本复杂度，其经验性能接近精确不变核的表现。

ABSTRACT

We analyze in this paper a random feature map based on a theory of invariance I-theory introduced recently. More specifically, a group invariant signal signature is obtained through cumulative distributions of group transformed random projections. Our analysis bridges invariant feature learning with kernel methods, as we show that this feature map defines an expected Haar integration kernel that is invariant to the specified group action. We show how this non-linear random feature map approximates this group invariant kernel uniformly on a set of $N$ points. Moreover, we show that it defines a function space that is dense in the equivalent Invariant Reproducing Kernel Hilbert Space. Finally, we quantify error rates of the convergence of the empirical risk minimization, as well as the reduction in the sample complexity of a learning algorithm using such an invariant representation for signal classification, in a classical supervised learning setting.

研究动机与目标

• 通过构建近似群不变核的随机特征映射，弥合无监督不变表示学习与监督核方法之间的差距。
• 证明所提出的随机特征映射在有限点集上均匀逼近于群作用下期望的哈尔积分核。
• 证明该特征映射在对应的不变再生核希尔伯特空间（RKHS）中张成的函数空间是稠密的。
• 量化使用不变表示时，经验风险最小化在样本复杂度和收敛速率方面的改进。
• 在排列不变序列分类和语音数字识别任务上对方法进行经验验证。

提出的方法

• 该方法利用群作用下随机投影的累积分布函数（CDF），构建群不变信号签名。
• 基于不变性记忆理论定义随机特征映射，其中每个特征均源自群变换后的投影。
• 证明该随机特征映射所诱导的核等价于一个在指定群作用下不变的期望哈尔积分核。
• 理论分析证明该随机特征映射在包含N个点的有限集上，对真实不变核实现统一收敛。
• 该方法证明所生成的函数空间在不变RKHS中是稠密的，确保其表达能力。
• 通过在排列不变序列和TIDIGITS语音数据集上使用RLS和SVM分类器进行实证评估，将性能与基线方法和精确不变核进行比较。

实验结果

研究问题

• RQ1 基于群变换随机投影的随机特征映射能否在哈尔积分定义的群不变核上实现统一逼近？
• RQ2 该随机特征映射是否张成在对应不变再生核希尔伯特空间中稠密的函数空间？
• RQ3 在监督设置下，使用此类不变特征如何影响学习算法的样本复杂度？
• RQ4 使用不变随机特征表示时，经验风险最小化的收敛速率如何？
• RQ5 在实践中，该随机特征映射能多接近精确不变核的性能？

主要发现

• 该随机特征映射在任意有限点集N上，对群不变哈尔积分核实现统一逼近，其收敛性由大数定律保证。
• 该特征映射定义的函数空间在对应不变再生核希尔伯特空间中是稠密的，确保其具备通用逼近能力。
• 该方法在监督学习中降低了样本复杂度，因为不变表示在无需数据增强的情况下捕捉了对称性。
• 实证结果表明，当模板和分箱数量足够时，该随机特征映射在排列不变序列分类任务上优于原始特征和词袋基线。
• 随着模板和分箱数量的增加，性能逐渐逼近精确哈尔不变核；当采样群元素较少时，性能呈现平滑下降。
• 在TIDIGITS数据集上，即使存在年龄不匹配（如成人对儿童说话者），性能依然强劲，但男性对儿童的性能低于女性对儿童，主要由于音高差异。