[论文解读] Borrowing Treasures from the Wealthy: Deep Transfer Learning through Selective Joint Fine-tuning

Weifeng Ge, Yizhou Yu|arXiv (Cornell University)|Feb 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 36被引用 18

一句话总结

本文提出了一种选择性联合微调方法，这是一种深度迁移学习方法，通过使用大规模源域中经过筛选的图像子集，联合微调共享卷积层，从而在数据稀缺的视觉分类任务中提升性能。该方法利用滤波器组描述符选择与目标域低层次特征相似的源图像，使Caltech-256、MIT Indoor 67、Oxford Flowers 102和Stanford Dogs 120上的准确率实现了2%–10%的最先进性能提升。

ABSTRACT

Deep neural networks require a large amount of labeled training data during supervised learning. However, collecting and labeling so much data might be infeasible in many cases. In this paper, we introduce a source-target selective joint fine-tuning scheme for improving the performance of deep learning tasks with insufficient training data. In this scheme, a target learning task with insufficient training data is carried out simultaneously with another source learning task with abundant training data. However, the source learning task does not use all existing training data. Our core idea is to identify and use a subset of training images from the original source learning task whose low-level characteristics are similar to those from the target learning task, and jointly fine-tune shared convolutional layers for both tasks. Specifically, we compute descriptors from linear or nonlinear filter bank responses on training images from both tasks, and use such descriptors to search for a desired subset of training samples for the source learning task. Experiments demonstrate that our selective joint fine-tuning scheme achieves state-of-the-art performance on multiple visual classification tasks with insufficient training data for deep learning. Such tasks include Caltech 256, MIT Indoor 67, Oxford Flowers 102 and Stanford Dogs 120. In comparison to fine-tuning without a source domain, the proposed method can improve the classification accuracy by 2% - 10% using a single model.

研究动机与目标

• 解决在标注训练数据不足时训练深度神经网络的挑战。
• 改善细粒度和专业化的视觉分类任务性能，其中过拟合是主要问题。
• 开发一种迁移学习策略，利用大规模源数据集，而无需额外标注。
• 识别并仅利用源域中最相关的训练样本，以增强特征学习。
• 证明选择性使用源数据（而非全部数据）可带来更好的泛化能力和性能。

提出的方法

• 该方法对具有有限数据的目标任务与具有丰富数据的源任务之间的共享卷积层进行联合微调。
• 通过计算滤波器组响应（如Gabor或基于CNN的）并使用其直方图作为描述符，基于低层次视觉特征选择源训练图像的子集。
• 通过描述符检索测量图像相似性，确保仅使用与目标域具有相似低层次特征（如纹理、边缘）的源图像。
• 将所选的源图像用于联合微调共享卷积层，从而改善目标任务的特征学习。
• 采用自适应采样策略，针对目标域中的困难训练样本增加检索的源图像数量。
• 使用预训练AlexNet的低层卷积层作为学习到的非线性滤波器组，以提取用于相似性匹配的描述符。

实验结果

研究问题

• RQ1 使用经过筛选的源数据子集进行联合微调，能否提升数据稀缺视觉分类任务的性能？
• RQ2 基于低层次视觉相似性的源图像选择，是否能带来比使用全部源数据更好的特征学习？
• RQ3 选择性联合微调的性能与传统微调和从零开始训练相比如何？
• RQ4 学习到的滤波器组是否比分析性滤波器组（如Gabor）更有效，用于识别相关源样本？
• RQ5 该方法能否在不同源域（如ImageNet和Places）之间泛化，适用于不同的目标任务？

主要发现

• 与未使用源域的常规微调相比，选择性联合微调在Stanford Dogs 120数据集上实现了10%的准确率提升。
• 在MIT Indoor 67上，使用Places数据集作为源域将平均类别准确率提升至85.8%，比基线微调高出4.1%。
• 与经过筛选的子集相比，使用全部源数据导致Stanford Dogs 120上的性能下降4.6%，表明无关数据会损害学习效果。
• 在Stanford Dogs 120上，随机选择的源图像导致性能下降4.7%，证实了基于相关性的选择至关重要。
• 在Oxford Flowers 102上，用Gabor滤波器替换学习到的滤波器组导致准确率下降2.7%，表明学习到的滤波器优于手工设计的滤波器。
• 针对困难样本的自适应采样策略在Stanford Dogs 120上将性能提升了1.9%，表明其在处理困难样本方面的价值。