[论文解读] Local Group Invariant Representations via Orbit Embeddings

Anant Raj, Abhishek Kumar+3 more|arXiv (Cornell University)|Dec 6, 2016

Domain Adaptation and Few-Shot Learning参考文献 37被引用 13

一句话总结

本文提出局部群不变核近似（LGIKA），一种基于核的方法，通过特征核在再生核希尔伯特空间（RKHS）中嵌入群作用下的数据轨道分布，实现注入性表示。通过Nyström或随机傅里叶特征对核进行近似，生成局部、不变的随机特征，在旋转MNIST上性能超越以往核方法，并与深度卷积神经网络（CNN）相当；在CIFAR-10上可处理旋转、平移和缩放等复杂变换。

ABSTRACT

Invariance to nuisance transformations is one of the desirable properties of effective representations. We consider transformations that form a \emph{group} and propose an approach based on kernel methods to derive local group invariant representations. Locality is achieved by defining a suitable probability distribution over the group which in turn induces distributions in the input feature space. We learn a decision function over these distributions by appealing to the powerful framework of kernel methods and generate local invariant random feature maps via kernel approximations. We show uniform convergence bounds for kernel approximation and provide excess risk bounds for learning with these features. We evaluate our method on three real datasets, including Rotated MNIST and CIFAR-10, and observe that it outperforms competing kernel based approaches. The proposed method also outperforms deep CNN on Rotated-MNIST and performs comparably to the recently proposed group-equivariant CNN.

研究动机与目标

• 开发一种可扩展、理论严谨的核方法，用于学习局部群不变表示。
• 克服先前工作中基于直方图特征的局限性，如任意非线性性与次优核近似。
• 实现对非均匀群分布的泛化，以更好地控制特征选择性与局部性。
• 通过核近似与学习的统一收敛性及泛化界，提供理论保证。
• 在真实世界数据集（包括旋转MNIST与CIFAR-10）上评估该方法，涵盖多种群作用。

提出的方法

• 通过特征核将群作用诱导的轨道分布嵌入再生核希尔伯特空间（RKHS），确保注入性并保留所有分布矩。
• 使用归一化哈尔测度在群上定义概率分布，从而为每个数据点在输入空间诱导出一个分布。
• 通过核近似技术（Nyström方法与随机傅里叶特征）生成随机特征，实现可扩展计算。
• 该框架允许在群上使用非均匀分布（如缩放的对数正态分布、平移的正态分布、旋转的冯-米塞斯分布），实现局部不变性。
• 最终表示通过从核近似中导出的非线性函数构成，其生成方式具有理论依据，而非人为设计。
• 在图像数据上应用该方法时，将像素强度视为输入特征，并通过引理2.1施加群作用以保持酉性。

实验结果

研究问题

• RQ1 轨道分布的核均值嵌入是否可作为基于直方图的不变特征的更理论化且更有效的替代方案？
• RQ2 与均匀分布相比，使用非均匀群分布是否能提升特征选择性与性能？
• RQ3 Nyström与随机傅里叶特征等核近似方法是否能有效扩展，同时保持不变性与泛化能力？
• RQ4 在准确率与样本效率方面，该方法与深度CNN及其他核方法相比表现如何？
• RQ5 通过群轨道嵌入实现的局部不变性，在具有干扰变换（如旋转与缩放）的数据集上，能在多大程度上提升性能？

主要发现

• LGIKA在旋转MNIST与CIFAR-10上优于原始随机特征与竞争核方法，在CIFAR-10上使用两层特征达到67.32%准确率。
• 该方法在旋转MNIST上性能与深度CNN相当，展现出对旋转的强大不变性。
• 在旋转、平移与缩放群上使用非均匀分布（如对数正态、正态、冯-米塞斯分布）可提升性能，优于均匀分布。
• 群元素上更宽泛的分布会降低性能，证实了特征学习中局部性的重要性。
• 通过Nyström与随机傅里叶特征近似，该方法可有效扩展，而GICDF [31] 因高维特征扩展导致内存问题而无法扩展。
• 建立了核近似与学习的理论界，支持该方法的可靠性与泛化能力。