[论文解读] Efficient K-Shot Learning with Regularized Deep Networks

Donghyun Yoo, Haoqi Fan+2 more|arXiv (Cornell University)|Oct 6, 2017

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出了一种用于k-shot学习的正则化方法，通过聚类预训练深度神经网络中的神经元参数来减少过拟合并提升泛化能力。通过将具有相似激活模式的神经元分组，并利用强化学习优化聚类分配，该方法在多个数据集和shot设置下实现了显著的准确率提升——相比最先进微调基线最高提升10%。

ABSTRACT

Feature representations from pre-trained deep neural networks have been known to exhibit excellent generalization and utility across a variety of related tasks. Fine-tuning is by far the simplest and most widely used approach that seeks to exploit and adapt these feature representations to novel tasks with limited data. Despite the effectiveness of fine-tuning, itis often sub-optimal and requires very careful optimization to prevent severe over-fitting to small datasets. The problem of sub-optimality and over-fitting, is due in part to the large number of parameters used in a typical deep convolutional neural network. To address these problems, we propose a simple yet effective regularization method for fine-tuning pre-trained deep networks for the task of k-shot learning. To prevent overfitting, our key strategy is to cluster the model parameters while ensuring intra-cluster similarity and inter-cluster diversity of the parameters, effectively regularizing the dimensionality of the parameter search space. In particular, we identify groups of neurons within each layer of a deep network that shares similar activation patterns. When the network is to be fine-tuned for a classification task using only k examples, we propagate a single gradient to all of the neuron parameters that belong to the same group. The grouping of neurons is non-trivial as neuron activations depend on the distribution of the input data. To efficiently search for optimal groupings conditioned on the input data, we propose a reinforcement learning search strategy using recurrent networks to learn the optimal group assignments for each network layer. Experimental results show that our method can be easily applied to several popular convolutional neural networks and improve upon other state-of-the-art fine-tuning based k-shot learning strategies by more than10%

研究动机与目标

• 解决由于参数冗余高且数据有限，导致在few-shot学习中微调深度网络时出现的过拟合问题。
• 通过聚类相关参数来降低微调过程中深度网络的有效容量，同时保持组内相似性和组间多样性。
• 开发一种与任务无关、与架构无关的方法，可适用于任何预训练网络且无需结构修改。
• 通过引入三元组损失，增强k-shot样本之间的特征分离，从而在低数据环境下改善监督效果。
• 设计一种高效的搜索机制，利用强化学习在各网络层中搜索最优聚类配置。

提出的方法

• 基于k-shot任务上的激活相似性，在每一层内对神经元参数进行聚类，形成共享相同梯度更新的组。
• 强制激活模式在组内保持相似性，并在组间保持正交性，以维持表征多样性。
• 引入一种结合交叉熵损失和三元组损失的混合损失，以提升k-shot样本之间的特征区分度。
• 使用具有循环策略网络的强化学习智能体，搜索跨各网络层的最优聚类配置。
• 训练RL智能体以最大化验证准确率，从而实现聚类超参数的端到端优化。
• 将该方法应用于标准预训练网络（如ResNet-18、VGG）而无需结构修改，保持与现有微调流程的兼容性。

实验结果

研究问题

• RQ1 在预训练网络中对神经元参数进行聚类，是否能减少k-shot微调过程中的过拟合？
• RQ2 强制激活模式在组内保持相似性、组间保持正交性，是否能提升低数据环境下的泛化能力？
• RQ3 基于强化学习的搜索策略是否能高效识别跨多个网络层的最优聚类配置？
• RQ4 与标准微调及其他最先进k-shot学习方法相比，所提出方法在准确率和鲁棒性方面表现如何？
• RQ5 参数冗余是否仍存在于预训练网络的深层中，从而证明在所有层上进行聚类是合理的？

主要发现

• 在CIFAR-100到CIFAR-10的迁移设置中，该方法将1-shot学习准确率相比标准微调提升了6.37%，相比使用边缘损失的强基线模型提升了4.3%。
• 在10-shot学习中，该方法达到60.30%的准确率，优于次优方法（GNA+三元组损失+贪心策略）1.74个百分点。
• 该方法在所有shot设置下均一致提升性能，相比标准微调，1-shot学习提升1.52个百分点，10-shot学习提升2.24个百分点。
• 对ResNet-18的所有层进行聚类可获得最佳性能（10-shot设置下准确率为84.08%），证实冗余不仅存在于浅层。
• 聚类显著降低了预测结果的标准差（例如，1-shot下从10.66降至0.76），表明训练稳定性得到提升。
• 基于强化学习的搜索策略能有效识别最优聚类配置，如图6所示，性能随迭代次数持续提升。