[论文解读] Auto-pooling: Learning to Improve Invariance of Image Features from Image Sequences

Sainbayar Sukhbaatar, Takaki Makino+1 more|arXiv (Cornell University)|Jan 15, 2013

Image Retrieval and Classification Techniques参考文献 13被引用 4

一句话总结

本文提出了一种名为自适应池化（auto-pooling）的新颖无监督池化方法，通过从时序序列中学习图像特征的软聚类，以提升对空间及非空间变换的不变性。通过最小化重建误差并强制图像序列间保持时序一致性，自适应池化在图像分类任务中优于传统空间池化，尤其在训练数据有限时表现更优，且由于其不依赖空间归纳偏置，可适用于非卷积模型。

ABSTRACT

Learning invariant representations from images is one of the hardest challenges facing computer vision. Spatial pooling is widely used to create invariance to spatial shifting, but it is restricted to convolutional models. In this paper, we propose a novel pooling method that can learn soft clustering of features from image sequences. It is trained to improve the temporal coherence of features, while keeping the information loss at minimum. Our method does not use spatial information, so it can be used with non-convolutional models too. Experiments on images extracted from natural videos showed that our method can cluster similar features together. When trained by convolutional features, auto-pooling outperformed traditional spatial pooling on an image classification task, even though it does not use the spatial topology of features.

研究动机与目标

• 为解决传统空间池化方法的局限性，即仅适用于卷积模型且仅能提升对空间位移的不变性。
• 开发一种无需依赖固定空间配置的池化方法，以学习自适应、数据驱动的特征聚类。
• 通过从图像序列中进行无监督学习，提升对旋转和形变等复杂变换的特征不变性。
• 通过从数据中学习池化参数而非硬编码，构建一种生物上合理的复杂细胞模型。
• 通过消除对空间拓扑结构的依赖，使池化方法可应用于非卷积模型。

提出的方法

• 自适应池化以图像序列为输入，基于时序一致性学习低级特征的软聚类。
• 采用类似自编码器的目标函数最小化重建误差，以在池化过程中保留信息。
• 该方法学习一个将特征映射到聚类中心的变换矩阵，聚类通过梯度下降进行优化。
• 不使用空间信息，因此可应用于非卷积特征提取器。
• 模型在自然视频序列上端到端进行无监督训练，以增强特征表示的时序稳定性。
• 聚类在特征空间中进行，无需假设存在固定的网格结构，从而支持自适应的聚 cluster 大小与形状。

实验结果

研究问题

• RQ1 能否通过从图像序列中进行无监督学习，使特征不变性超越空间位移？
• RQ2 能否开发一种池化方法，实现对特征的自适应软聚类，且不依赖空间拓扑结构？
• RQ3 自适应池化是否在数据量有限时，泛化性能优于传统空间池化？
• RQ4 自适应池化能否应用于非卷积模型，从而扩展其适用范围？
• RQ5 与空间池化相比，自适应池化在旋转等变换下的不变性提升程度如何？

主要发现

• 在使用完整训练数据的 CIFAR-10 数据集上，自适应池化的分类准确率达到 69.7%，优于空间池化（使用 $4\times4$ 池化时为 68.4%）。
• 当每类仅使用 1000 个样本时，自适应池化达到 65.0% 的准确率，显著优于空间池化的 61.2%。
• 该方法成功聚类了相似特征，如方向相近的边缘检测器，从而实现了旋转不变性。
• 自适应池化通过基于相似性而非空间邻近性来分组特征，减少了卷积特征提取中的冗余。
• 性能提升在低数据场景下最为显著，表明其具有更强的泛化能力。
• 自适应池化表明，可利用图像序列中的时序一致性，无监督地学习鲁棒且不变的表示。