[论文解读] Basic Level Categorization Facilitates Visual Object Recognition

Panqu Wang, Garrison W. Cottrell|arXiv (Cornell University)|Nov 12, 2015

Face Recognition and Perception参考文献 49被引用 8

一句话总结

本文提出了一种受人类视觉发育启发的两阶段训练策略，用于深度卷积神经网络（CNNs）：首先在基础层级物体类别（例如 'dog'、'car'）上进行预训练，然后在从属层级任务（例如特定品种）上进行微调。通过利用大脑假设的来自初级视觉皮层（PFC）的自上而下的促进作用，该方法提升了泛化能力和性能，在 ImageNet ILSVRC 2012 上实现了 82.14% 的 top-5 准确率（较之前的 80.13% 提升），并在较小数据集上表现出更优的迁移学习性能。

ABSTRACT

Recent advances in deep learning have led to significant progress in the computer vision field, especially for visual object recognition tasks. The features useful for object classification are learned by feed-forward deep convolutional neural networks (CNNs) automatically, and they are shown to be able to predict and decode neural representations in the ventral visual pathway of humans and monkeys. However, despite the huge amount of work on optimizing CNNs, there has not been much research focused on linking CNNs with guiding principles from the human visual cortex. In this work, we propose a network optimization strategy inspired by both of the developmental trajectory of children's visual object recognition capabilities, and Bar (2003), who hypothesized that basic level information is carried in the fast magnocellular pathway through the prefrontal cortex (PFC) and then projected back to inferior temporal cortex (IT), where subordinate level categorization is achieved. We instantiate this idea by training a deep CNN to perform basic level object categorization first, and then train it on subordinate level categorization. We apply this idea to training AlexNet (Krizhevsky et al., 2012) on the ILSVRC 2012 dataset and show that the top-5 accuracy increases from 80.13% to 82.14%, demonstrating the effectiveness of the method. We also show that subsequent transfer learning on smaller datasets gives superior results.

研究动机与目标

• 探究在基础层级物体类别上进行预训练是否能提升深度 CNN 在视觉物体识别任务中的性能。
• 通过快速大细胞通路在前额叶皮层（PFC）与下颞叶皮层（IT）之间建立的假设自上而下促进机制，模拟人脑的神经机制。
• 探索儿童物体分类的发展轨迹是否可为更优的深度学习训练策略提供启示。
• 评估基础层级预训练作为后续从属层级分类任务的正则化归纳偏置的有效性。
• 展示采用该两阶段训练方法后，在较小数据集上迁移学习性能的提升。

提出的方法

• 作者利用 ImageNet 层次结构中的同义词树（synset tree）提取基础层级类别，选取 308 个类别代表广泛物体类型（例如 'dog'、'car'、'fruit'）。
• 使用 ImageNet 数据集，首先在这些 308 个基础层级类别上训练一个深度 CNN（AlexNet）。
• 预训练完成后，同一网络在完整的 1000 类 ILSVRC 2012 从属层级分类任务上进行微调。
• 该方法基于如下理念：基础层级表征可作为初始‘猜测’或先验，引导网络在从属层级学习过程中实现更好的泛化。
• 通过 ImageNet 上的 top-5 准确率以及 Caltech 数据集上的迁移学习性能对方法进行评估。
• 将该两阶段方法与标准训练及其他预训练基线进行比较，以隔离基础层级预训练的独立影响。

实验结果

研究问题

• RQ1 在基础层级物体类别上进行预训练是否能提升深度 CNN 在从属层级图像分类任务中的性能？
• RQ2 人类物体分类的发展轨迹——即基础层级识别先于从属层级出现——是否可为更优的深度学习训练策略提供启示？
• RQ3 Bar（2003）提出的自上而下促进机制（涉及 PFC 和大细胞通路）在深度网络中建模后，是否在实证上具有益处？
• RQ4 基础层级预训练是否能提升在较小下游数据集上的迁移学习性能？
• RQ5 性能提升是源于预训练本身，还是需要在完整任务上持续训练才能实现？

主要发现

• 两阶段训练策略——即在 308 个基础层级类别上预训练，随后在 1000 类 ILSVRC 2012 上微调——使 top-5 准确率从 80.13% 提升至 82.14%。
• 若仅在基础层级类别上进行预训练而未在完整任务上进行微调，则未观察到性能提升，表明在目标任务上持续学习至关重要。
• 与标准训练基线相比，预训练网络在 Caltech 数据集上展现出更优的迁移学习性能，证明其泛化能力更强。
• 结果表明，基础层级预训练起到了正则化归纳偏置的作用，改善了从属层级任务的优化景观收敛性。
• 性能提升归因于网络从基础层级表征中学习到一个有用的先验，从而引导其学习更具体的特征。
• 据作者所知，本研究是首个基于发展和神经生物学原理，建模深度 CNN 中基础层级促进效应的研究。