[论文解读] Local Unsupervised Learning for Image Analysis

Lea T. Grinberg, J. J. Hopfield+1 more|arXiv (Cornell University)|Aug 14, 2019

Advanced Image and Video Retrieval Techniques参考文献 18被引用 7

一句话总结

本文提出一种局部、无监督的学习算法，通过仅使用自下而上的Hebbian风格权重更新来训练卷积神经网络，无需反向传播。通过结合图像块归一化和陡峭的非线性激活，该方法在CIFAR-10和ImageNet-32上的分类准确率与端到端反向传播训练的网络相当，表明局部学习可从无标签数据中提取出强大的泛化表征。

ABSTRACT

Local Hebbian learning is believed to be inferior in performance to end-to-end training using a backpropagation algorithm. We question this popular belief by designing a local algorithm that can learn convolutional filters at scale on large image datasets. These filters combined with patch normalization and very steep non-linearities result in a good classification accuracy for shallow networks trained locally, as opposed to end-to-end. The filters learned by our algorithm contain both orientation selective units and unoriented color units, resembling the responses of pyramidal neurons located in the cytochrome oxidase 'interblob' and 'blob' regions in the primary visual cortex of primates. It is shown that convolutional networks with patch normalization significantly outperform standard convolutional networks on the task of recovering the original classes when shadows are superimposed on top of standard CIFAR-10 images. Patch normalization approximates the retinal adaptation to the mean light intensity, important for human vision. We also demonstrate a successful transfer of learned representations between CIFAR-10 and ImageNet 32x32 datasets. All these results taken together hint at the possibility that local unsupervised training might be a powerful tool for learning general representations (without specifying the task) directly from unlabeled data.

研究动机与目标

• 挑战当前普遍认为局部学习在表征学习方面劣于反向传播的观念。
• 设计一种可扩展的、局部的、无监督算法，直接从无标签图像数据中学习卷积滤波器。
• 探究在无任务特定误差信号的情况下，结合图像块归一化与陡峭非线性激活的局部学习是否能生成可泛化的特征。
• 评估在CIFAR-10与ImageNet-32之间迁移学习的表征迁移能力。
• 探索所学习滤波器的生物合理性，特别是与灵长类V1皮层组织结构的关系。

提出的方法

• 该算法采用一种局部的、Hebbian风格的学习规则，基于图像块内激活的排序结果来更新卷积滤波器权重。
• 每个训练批次由从输入图像中随机打乱、非重叠提取的W×W×3大小的图像块组成。
• 学习规则采用稀疏的、赢家通吃型激活函数，仅允许最高和最低排名的通道接收非零梯度。
• 对每个图像块应用归一化处理，以模拟视网膜对平均光照强度的适应，提升对光照变化的鲁棒性。
• 在激活函数中使用极陡峭的非线性，以增强特征选择性，模拟皮层响应动力学。
• 网络采用分阶段训练：首先通过局部学习训练卷积滤波器，然后使用标准SGD对顶层分类器进行训练，且不通过特征提取器反向传播。

实验结果

研究问题

• RQ1 一种纯粹基于局部、无监督学习的算法是否能在无需反向传播的情况下，训练出在图像数据集上达到竞争性分类准确率的卷积滤波器？
• RQ2 图像块归一化在何种程度上提升了对阴影等光照变化的鲁棒性？
• RQ3 通过局部无监督训练学习到的表征在CIFAR-10与ImageNet-32等不同数据集之间，其迁移能力有多强？
• RQ4 局部算法学习到的滤波器是否表现出类似于灵长类V1皮层区域（如斑块区与条带间区）的功能组织结构？
• RQ5 当引入图像块归一化与陡峭非线性等架构组件时，局部学习的性能是否可与端到端反向传播相媲美？

主要发现

• 所提出的局部无监督学习算法在CIFAR-10上的分类准确率与同架构、同规模的端到端反向传播训练网络相当。
• 在ImageNet-32上，该局部学习方法的准确率略低但处于相同量级，证明了其可扩展性与竞争力。
• 图像块归一化显著提升了在带阴影的CIFAR-10测试集上的性能，大幅优于标准卷积神经网络。
• 该算法学习到的滤波器呈现出清晰的功能分离：方向选择性单元与颜色敏感单元，类似于灵长类V1皮层中的斑块与条带通路。
• 在CIFAR-10与ImageNet-32之间的迁移学习成功实现，仅通过微调顶层分类器（SGD优化），在一种数据集上预训练的模型在另一数据集上也取得了良好性能。
• 该方法在无需数据增强、Dropout或预处理的情况下即取得优异结果，凸显了所学特征的鲁棒性。