[论文解读] Learning Invariant Representations with Local Transformations

Kihyuk Sohn, Honglak Lee|arXiv (Cornell University)|Jun 27, 2012

Domain Adaptation and Few-Shot Learning参考文献 28被引用 100

一句话总结

本文提出了一种通过将局部线性变换整合到特征学习算法（如受限玻尔兹曼机、自编码器和稀疏编码）中的框架，以学习变换不变表示。通过在变换后的特征权重上应用概率最大池化，该方法实现了对空间和几何变化的不变性，在包括MNIST、CIFAR-10、STL-10和TIMIT在内的图像与语音分类基准上表现出最先进性能。

ABSTRACT

Learning invariant representations is an important problem in machine learning and pattern recognition. In this paper, we present a novel framework of transformation-invariant feature learning by incorporating linear transformations into the feature learning algorithms. For example, we present the transformation-invariant restricted Boltzmann machine that compactly represents data by its weights and their transformations, which achieves invariance of the feature representation via probabilistic max pooling. In addition, we show that our transformation-invariant feature learning framework can also be extended to other unsupervised learning methods, such as autoencoders or sparse coding. We evaluate our method on several image classification benchmark datasets, such as MNIST variations, CIFAR-10, and STL-10, and show competitive or superior classification performance when compared to the state-of-the-art. Furthermore, our method achieves state-of-the-art performance on phone classification tasks with the TIMIT dataset, which demonstrates wide applicability of our proposed algorithms to other domains.

研究动机与目标

• 解决在视觉和音频数据中几何与空间变换下学习鲁棒、不变特征的挑战。
• 开发一种统一框架，将局部变换整合到现有的无监督特征学习算法中。
• 通过在变换权重上进行概率最大池化实现不变性，提升对数据变化的泛化能力。
• 将该框架扩展至RBMs、自编码器和稀疏编码等多种模型，以实现广泛适用性。
• 在标准基准上评估性能，证明其优于或媲美最先进方法。

提出的方法

• 将局部线性变换（如旋转、平移）整合到特征学习模型的权重矩阵中。
• 提出变换不变受限玻尔兹曼机（TIRBM），联合学习特征及其变换版本。
• 通过在变换后的特征图上应用概率最大池化实现不变性，无需显式数据增强。
• 通过修改目标函数以包含变换权重项，将相同原理应用于自编码器和稀疏编码。
• 采用共享表示学习机制，使特征对小范围局部变换保持不变。
• 利用变换的统计结构隐式正则化特征空间，提升鲁棒性。

实验结果

研究问题

• RQ1 局部线性变换能否有效整合到无监督特征学习模型中以提升不变性？
• RQ2 引入变换权重如何影响所学表示的泛化能力和鲁棒性？
• RQ3 所提出的框架能否在标准图像与语音分类基准上优于或媲美最先进方法？
• RQ4 在变换上应用概率最大池化在多大程度上降低了对空间和几何变化的敏感性？
• RQ5 该框架能否扩展至受限玻尔兹曼机以外的多种无监督学习架构？

主要发现

• 变换不变受限玻尔兹曼机在包含数据变化的MNIST数据集上实现了最先进性能，优于先前方法。
• 该方法在CIFAR-10和STL-10上表现出竞争力，显示出对复杂视觉变化的鲁棒性。
• 在TIMIT语音分类基准上，该框架取得了最先进结果，证实其在视觉之外的适用性。
• 在变换特征上使用概率最大池化显著提升了不变性，且无需数据增强。
• 该框架能有效推广至自编码器和稀疏编码，在多种学习设置中保持强劲性能。