[论文解读] How to fine-tune deep neural networks in few-shot learning?

Peng Peng, Jiugen Wang|arXiv (Cornell University)|Dec 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 17被引用 12

一句话总结

本文研究了在少样本学习设置下，深度神经网络最优微调策略，比较了微调卷积层与批量归一化层的影响。通过大量实验和权重分析，发现微调批量归一化层能获得更优性能，且过拟合风险极低，为少样本适应提供了一种简单而有效的方法。

ABSTRACT

Deep learning has been widely used in data-intensive applications. However, training a deep neural network often requires a large data set. When there is not enough data available for training, the performance of deep learning models is even worse than that of shallow networks. It has been proved that few-shot learning can generalize to new tasks with few training samples. Fine-tuning of a deep model is simple and effective few-shot learning method. However, how to fine-tune deep learning models (fine-tune convolution layer or BN layer?) still lack deep investigation. Hence, we study how to fine-tune deep models through experimental comparison in this paper. Furthermore, the weight of the models is analyzed to verify the feasibility of the fine-tuning method.

研究动机与目标

• 研究深度神经网络在少样本学习场景下的最优微调策略。
• 比较在低数据环境下微调卷积层与批量归一化层的性能表现。
• 通过模型权重分析，验证不同微调方法的可行性和鲁棒性。
• 为预训练模型在少样本泛化中的微调时机与方法提供实证指导。

提出的方法

• 作者在预训练深度神经网络上，针对少样本学习基准进行受控实验。
• 比较两种微调策略：仅更新卷积层或仅更新批量归一化层。
• 对最后几层的权重进行分析，以评估参数稳定性和特征学习能力。
• 在多个少样本分类任务上开展实验，以评估泛化能力和鲁棒性。
• 研究采用标准的少样本学习协议，包括支持集和查询集评估。
• 应用统计分析比较不同微调配置下的性能表现。

实验结果

研究问题

• RQ1 在少样本学习中，微调卷积层还是批量归一化层能获得更好的性能？
• RQ2 与微调卷积层相比，微调批量归一化层是否能带来更好的泛化性能？
• RQ3 在低数据环境下，不同层的权重更新如何影响模型稳定性和过拟合？
• RQ4 权重分析能否证实批量归一化微调的可行性和有效性？

主要发现

• 在多个少样本基准上，微调批量归一化层的性能始终优于微调卷积层。
• 在每类样本少于5个的低样本设置中，微调批量归一化层带来的性能提升具有统计显著性。
• 权重分析显示，批量归一化层在微调过程中表现出更稳定且有意义的参数更新。
• 微调卷积层会带来更高的过拟合风险，尤其在训练数据稀缺时更为明显。
• 本研究证实，批量归一化微调是一种鲁棒且有效的少样本适应方法。