[论文解读] Learning Deep Representations Using Convolutional Auto-encoders with Symmetric Skip Connections

Jianfeng Dong, Xiao-Jiao Mao+2 more|arXiv (Cornell University)|Nov 28, 2016

Domain Adaptation and Few-Shot Learning参考文献 39被引用 4

一句话总结

本文提出一种用于无监督预训练的对称跳跃连接卷积自编码器，通过图像重建提升表征学习能力。该架构通过残差式跳跃连接从无标签数据中学习到鲁棒且语义有意义的特征，即使在标注数据有限的情况下，也能在图像分类和语义分割任务中实现优异性能。

ABSTRACT

Unsupervised pre-training was a critical technique for training deep neural networks years ago. With sufficient labeled data and modern training techniques, it is possible to train very deep neural networks from scratch in a purely supervised manner nowadays. However, unlabeled data is easier to obtain and usually of very large scale. How to make use of them better to help supervised learning is still a well-valued topic. In this paper, we investigate convolutional denoising auto-encoders to show that unsupervised pre-training can still improve the performance of high-level image related tasks such as image classification and semantic segmentation. The architecture we use is a convolutional auto-encoder network with symmetric shortcut connections. We empirically show that symmetric shortcut connections are very important for learning abstract representations via image reconstruction. When no extra unlabeled data are available, unsupervised pre-training with our network can regularize the supervised training and therefore lead to better generalization performance. With the help of unsupervised pre-training, our method achieves very competitive results in image classification using very simple all-convolution networks. When labeled data are limited but extra unlabeled data are available, our method achieves good results in several semi-supervised learning tasks.

研究动机与目标

• 探究在现代大规模监督学习设置下，使用卷积自编码器进行无监督预训练是否仍能提升深度网络的性能。
• 评估对称跳跃连接在使自编码器学习适合分类和分割任务的抽象高层表征方面的作用。
• 评估无监督预训练在无额外无标签数据时（情形1）作为正则化手段的作用，以及在存在额外无标签数据时（情形2）作为弱监督学习方法的作用。
• 确定仅通过重建学习到的表征是否能捕捉到语义相关的特征而无需任何类别标签。

提出的方法

• 提出一种完全卷积的编码器-解码器网络，采用对称跳跃连接，受图像恢复架构启发。
• 采用去噪自编码器训练目标：对输入图像进行扰动（如遮盖图像块），并训练网络重建原始图像。
• 采用对称跳跃连接，将编码器对应层的特征传递至解码器，以稳定训练并提升特征学习能力。
• 将预训练的编码器作为特征提取器，仅对下游任务中的分类头进行微调。
• 在大规模无标签数据集（如ImageNet子集）上进行无监督预训练，随后进行监督微调。
• 在PASCAL VOC 2007上评估图像分类和语义分割任务的性能，涵盖全监督和弱监督两种设置。

实验结果

研究问题

• RQ1 在使用足够标注数据从零开始训练现代深度网络时，基于重建目标的无监督预训练是否仍能提升泛化能力？
• RQ2 对称跳跃连接在使自编码器通过图像重建学习有意义表征方面有多关键？
• RQ3 在特定语义类别（如动物或车辆）的无标签数据上进行预训练，是否能提升微调阶段在这些类别上的性能？
• RQ4 当除训练集外无额外无标签数据时，无监督预训练是否仍能作为有效的正则化手段？
• RQ5 所学表征对遮挡等扰动的鲁棒性如何？它们能否隐式检测到显著的语义结构（如人脸或车轮）？

主要发现

• 对称跳跃连接对自编码器中的有效表征学习至关重要；若移除它们，将导致重建质量差且下游性能下降。
• 仅使用ImageNet中93,000张无标签图像（来自“哺乳动物”或“车辆”超类）进行预训练，相比从零开始训练，可使PASCAL VOC 2007的平均平均精度提升最高达3.66个百分点。
• 在动物图像上预训练的网络在“动物”粗类别上达到73.04% mAP，而车辆预训练模型在“车辆”类别上达到80.00%，表明其具备类别分布感知的表征学习能力。
• 可视化结果表明，即使无任何监督，自编码器也能学会关注语义相关区域（如狗脸、车轮），表明其隐式学习了物体部件。
• 在部分遮挡下，特征图保持稳定，表明所学表征对扰动具有鲁棒性，表现为在不同扰动输入下激活模式一致。
• 在弱监督学习设置下，该方法与联合学习方法相比表现具有竞争力，证明在存在额外无标签数据时具有有效性。