[论文解读] Learnable Pooling Regions for Image Classification

Mateusz Malinowski, Mario Fritz|arXiv (Cornell University)|Jan 15, 2013

Advanced Image and Video Retrieval Techniques参考文献 17被引用 25

一句话总结

该论文提出了一种可学习的空间池化框架，联合优化池化区域和分类器，实现超越手工设计方案的任务自适应池化形状。通过引入空间平滑正则化和高效的批量近似方法，该方法在CIFAR-100上实现了56.29%的最先进准确率，优于先前方法1.41%。

ABSTRACT

Biologically inspired, from the early HMAX model to Spatial Pyramid Matching, pooling has played an important role in visual recognition pipelines. Spatial pooling, by grouping of local codes, equips these methods with a certain degree of robustness to translation and deformation yet preserving important spatial information. Despite the predominance of this approach in current recognition systems, we have seen little progress to fully adapt the pooling strategy to the task at hand. This paper proposes a model for learning task dependent pooling scheme -- including previously proposed hand-crafted pooling schemes as a particular instantiation. In our work, we investigate the role of different regularization terms showing that the smooth regularization term is crucial to achieve strong performance using the presented architecture. Finally, we propose an efficient and parallel method to train the model. Our experiments show improved performance over hand-crafted pooling schemes on the CIFAR-10 and CIFAR-100 datasets -- in particular improving the state-of-the-art to 56.29% on the latter.

研究动机与目标

• 为克服视觉识别流程中固定且手工设计的池化区域所带来的局限性。
• 开发一种联合学习框架，同时优化池化区域和分类器，以提升特征鲁棒性。
• 研究不同正则化项对池化区域发现及模型性能的影响。
• 通过近似技术实现在高维池化参数上的高效并行训练。
• 评估所学习池化区域在CIFAR-10和CIFAR-100等数据集之间的可迁移性。

提出的方法

• 提出一种参数化池化算子，将空间池化区域作为可微参数进行学习，支持与分类器的端到端训练。
• 引入空间平滑正则化项，鼓励池化权重呈现局部化但平滑变化的特性，从而提升泛化能力。
• 采用基于批量的近似方法，通过将特征码划分为更小的独立优化子集，降低计算成本。
• 在学习池化区域前增加预池化步骤，以降低空间维度，提升内存效率。
• 应用联合优化框架，使分类器的梯度在反向传播过程中引导池化区域的自适应调整。
• 采用灵活的架构设计，当池化区域固定时，可涵盖传统空间金字塔匹配作为特例。

实验结果

研究问题

• RQ1 能否以端到端方式有效学习池化区域，从而在分类准确率上超越手工设计方案？
• RQ2 不同正则化项（尤其是空间平滑）如何影响所学习池化区域的结构与性能？
• RQ3 所学习的池化区域在CIFAR-10和CIFAR-100等数据集之间可迁移的程度如何？
• RQ4 该方法的性能如何随词典大小和特征维度的变化而变化？
• RQ5 高效的并行训练近似方法是否能在降低计算成本的同时保持准确率？

主要发现

• 所提方法在CIFAR-100上实现了56.29%的top-1准确率，为发表时的最新最先进水平。
• 空间平滑正则化项显著提升性能，优于L2正则化及其他配置。
• 对于小词典大小，该方法相比基线Coates方法将分类准确率提升最高达10%。
• 迁移学习实验表明，CIFAR-100上训练的池化区域可良好泛化至CIFAR-10，达到80.35%准确率。
• 基于批量的近似方法在保持性能的同时实现了并行训练，可视化结果证实所学习的池化区域保持平滑且局部化。
• 可视化结果表明，模型学习到的池化区域在初始化基础上偏向，但受数据引导，空间平滑正则化更倾向于生成连贯的空间模式。