[论文解读] Augmenting Supervised Neural Networks with Unsupervised Objectives for Large-scale Image Classification

Yuting Zhang, Kibok Lee+1 more|arXiv (Cornell University)|Jun 21, 2016

Advanced Neural Network Applications参考文献 36被引用 56

一句话总结

本文提出通过添加解码路径引入无监督重建目标，对大规模监督神经网络（特别是16层VGGNet）进行增强，以提升图像分类性能。通过端到端随机梯度下降联合训练分类与自编码器模块，该方法在ImageNet上实现了1.66%的绝对top-1准确率提升，证明了无监督目标可在大规模设置中有效引导监督学习。

ABSTRACT

Unsupervised learning and supervised learning are key research topics in deep learning. However, as high-capacity supervised neural networks trained with a large amount of labels have achieved remarkable success in many computer vision tasks, the availability of large-scale labeled images reduced the significance of unsupervised learning. Inspired by the recent trend toward revisiting the importance of unsupervised learning, we investigate joint supervised and unsupervised learning in a large-scale setting by augmenting existing neural networks with decoding pathways for reconstruction. First, we demonstrate that the intermediate activations of pretrained large-scale classification networks preserve almost all the information of input images except a portion of local spatial details. Then, by end-to-end training of the entire augmented architecture with the reconstructive objective, we show improvement of the network performance for supervised tasks. We evaluate several variants of autoencoders, including the recently proposed "what-where" autoencoder that uses the encoder pooling switches, to study the importance of the architecture design. Taking the 16-layer VGGNet trained under the ImageNet ILSVRC 2012 protocol as a strong baseline for image classification, our methods improve the validation-set accuracy by a noticeable margin.

研究动机与目标

• 探究无监督重建目标是否能提升大规模监督图像分类网络的性能。
• 评估不同自编码器架构（尤其是使用池化切换连接的架构）在增强特征表示方面的有效性。
• 确定无监督预训练或与重建损失联合训练是否在高容量网络中带来更好的泛化性能。
• 评估性能提升是源于正则化，还是源于对监督目标的优化改善。

提出的方法

• 在预训练的16层VGGNet基础上，添加对称的解码路径，构建堆叠自编码器。
• 利用编码器的中间激活作为图像重建的潜在表征。
• 实现两种自编码器变体：一种使用固定反池化开关（SAE），另一种使用可学习的池化开关（SWWAE）。
• 使用随机梯度下降端到端训练整个增强网络，同时优化监督交叉熵损失与无监督重建损失。
• 采用联合训练策略，同时优化分类与重建目标，使无监督损失影响分类路径。
• 使用ImageNet ILSVRC 2012的标准评估指标（包括验证集上的top-1与top-5准确率）评估性能。

实验结果

研究问题

• RQ1 无监督重建目标能否提升大规模监督图像分类网络的性能？
• RQ2 不同自编码器架构（尤其是使用池化切换连接的架构）如何影响分类网络的性能？
• RQ3 引入重建目标是否带来更好的泛化性能，还是仅改善了监督损失的优化？
• RQ4 性能提升是源于正则化，还是源于网络在损失景观中找到了更优的局部极小值？

主要发现

• SWWAE-all模型在ImageNet上相较VGGNet基线，将top-1错误率降低了1.66%，top-5错误率降低了1.01%。
• SWWAE-all模型实现了1.66%的top-1准确率绝对提升，其中75%的相对提升（1.25%绝对提升）在仅4个训练周期内即达成。
• 使用自编码器增强的网络训练误差低于基线，表明性能增益并非源于正则化，而是源于优化过程的改善。
• SWWAE-all模型优于SAE-all，表明池化切换连接可提升性能，尽管并非获得增益的必要条件。
• 逐层重建损失有效实现了正则化，因为SAE/SWWAE-first模型虽训练误差更低，但验证误差更高，表明存在过拟合。
• 预训练网络的中间激活保留了几乎全部输入信息，仅在最大池化过程中损失了位置细节，证实其在重建任务中的有效性。