[论文解读] TI-POOLING: transformation-invariant pooling for feature learning in Convolutional Neural Networks

Dmitry Laptev, Nikolay Savinov+2 more|arXiv (Cornell University)|Apr 21, 2016

Advanced Image and Video Retrieval Techniques参考文献 21被引用 5

一句话总结

本文提出TI-pooling，一种用于卷积神经网络的变换不变池化算子，通过在并行的孪生分支中对输入图像的多个变换版本执行最大池化操作，聚合响应以改进特征学习。该方法通过从单一最优的“标准”表示中学习，避免了数据增强带来的冗余和低效，从而在参数更少、收敛更快的情况下，在基准数据集上实现了最先进性能。

ABSTRACT

In this paper we present a deep neural network topology that incorporates a simple to implement transformation invariant pooling operator (TI-POOLING). This operator is able to efficiently handle prior knowledge on nuisance variations in the data, such as rotation or scale changes. Most current methods usually make use of dataset augmentation to address this issue, but this requires larger number of model parameters and more training data, and results in significantly increased training time and larger chance of under- or overfitting. The main reason for these drawbacks is that the learned model needs to capture adequate features for all the possible transformations of the input. On the other hand, we formulate features in convolutional neural networks to be transformation-invariant. We achieve that using parallel siamese architectures for the considered transformation set and applying the TI-POOLING operator on their outputs before the fully-connected layers. We show that this topology internally finds the most optimal "canonical" instance of the input image for training and therefore limits the redundancy in learned features. This more efficient use of training data results in better performance on popular benchmark datasets with smaller number of parameters when comparing to standard convolutional neural networks with dataset augmentation and to other baselines.

研究动机与目标

• 为解决在深度学习中处理旋转和缩放等干扰变化时数据增强的低效与冗余问题。
• 将关于数据变换（如旋转、缩放）的专家知识直接整合到网络架构中。
• 开发一种池化机制，可在不增加模型复杂度或为每种变换单独学习的情况下，生成变换不变的特征。
• 通过从所有变换下的单一最优“标准”输入实例中学习，提升泛化能力并提高训练效率。

提出的方法

• 该方法使用具有共享权重的并行孪生网络，处理原始输入及其变换版本（如旋转、缩放）。
• TI-pooling算子在每个特征图位置上计算所有变换输入的最大激活，生成变换不变的特征。
• 池化操作确保最终特征表示独立于输入的具体变换，从而实现对已知干扰因素的不变性。
• 该架构支持反向传播，可端到端训练整个网络，包括共享的卷积层和TI-pooling操作。
• 该方法在训练过程中隐式识别出最具代表性的“标准”输入实例，从而减少特征冗余。
• 该方法与标准CNN架构兼容，可轻松作为即插即用的模块集成。

实验结果

研究问题

• RQ1 能否设计一种池化机制，使CNN特征对已知变换（如旋转、缩放）具有不变性，而无需依赖数据增强？
• RQ2 与标准数据增强相比，从共享的变换输入表示中学习是否能减少特征学习中的冗余？
• RQ3 TI-pooling是否能在参数更少、收敛更快的情况下，优于采用数据增强的标准CNN？
• RQ4 在变换不变任务中，TI-pooling机制与多实例学习相比，在性能和泛化能力方面表现如何？

主要发现

• 在神经元分割数据集上，TI-pooling结合Dropout的像素错误率为7.0%，优于标准CNN（数据增强）的8.1%和MIL的8.9%。
• 即使考虑等效的数据暴露量（数据增强CNN为384个周期，TI-pooling为16个周期），TI-pooling模型仍以更少参数实现更优性能。
• 该方法表现出比基线方法更快的收敛速度，表明其对训练数据的利用更高效。
• TI-pooling算子成功学习了变换不变特征，而无需为每种方向（如垂直和水平边缘）分别设置特征检测器。
• 理论和实证结果均证实，网络从最具代表性的“标准”输入实例中学习，从而减少了特征学习中的冗余。