[论文解读] AgileNet: Lightweight Dictionary-based Few-shot Learning

Mohammad Ghasemzadeh, Fang Lin+3 more|arXiv (Cornell University)|May 21, 2018

Domain Adaptation and Few-Shot Learning参考文献 15被引用 6

一句话总结

AgileNet 提出了一种轻量级、基于词典的 few-shot 学习框架，通过端到端的深度神经网络结构化分解，实现在资源受限的边缘设备上高效、低成本的模型更新。该方法在 Mini-ImageNet 上实现了最先进性能（5-way 5-shot 时准确率为 71.39%），同时相比原始模型将内存占用减少 5.8 倍、计算成本降低 6 倍。

ABSTRACT

The success of deep learning models is heavily tied to the use of massive amount of labeled data and excessively long training time. With the emergence of intelligent edge applications that use these models, the critical challenge is to obtain the same inference capability on a resource-constrained device while providing adaptability to cope with the dynamic changes in the data. We propose AgileNet, a novel lightweight dictionary-based few-shot learning methodology which provides reduced complexity deep neural network for efficient execution at the edge while enabling low-cost updates to capture the dynamics of the new data. Evaluations of state-of-the-art few-shot learning benchmarks demonstrate the superior accuracy of AgileNet compared to prior arts. Additionally, AgileNet is the first few-shot learning approach that prevents model updates by eliminating the knowledge obtained from the primary training. This property is ensured through the dictionaries learned by our novel end-to-end structured decomposition, which also reduces the memory footprint and computation complexity to match the edge device constraints.

研究动机与目标

• 解决在内存、计算和能源受限的边缘设备上部署高精度深度学习模型的挑战。
• 仅使用少量标注样本即可实现高效、低成本的新任务模型更新，同时避免遗忘先前学习的知识。
• 降低深度神经网络的内存和计算复杂度，以匹配边缘设备的约束条件，同时保持高推理准确率。
• 开发一种 few-shot 学习方法，能够在新旧类别上均保持性能，避免灾难性遗忘。

提出的方法

• 提出一种端到端的结构化分解方法，将每个卷积层和全连接层替换为紧凑的、基于词典的表示形式，以减少模型大小和计算量。
• 通过可微分的分解过程学习结构化词典，保持原始模型的预测结构，并支持权重矩阵的低秩近似。
• 利用学习到的词典在 few-shot 适应过程中执行轻量级、参数高效的更新，避免完整的微调或重新训练。
• 应用分解误差阈值 β 来控制模型复杂度与准确率之间的权衡，实现在各层上的可配置压缩。
• 对卷积层和全连接层分别进行分解，并为各层设置独立的 β 值，以在保持准确率的同时最大化内存和计算节省。
• 通过消除覆盖主训练知识的模型更新，确保知识保留，转而依赖基于词典的自适应机制。

实验结果

研究问题

• RQ1 能否设计一种 few-shot 学习框架，在最小化边缘部署内存和计算成本的同时，保持对旧类和新类的高准确率？
• RQ2 端到端的结构化分解在不降低 few-shot 学习基准性能的前提下，能否有效降低模型复杂度？
• RQ3 可调节的分解误差阈值（β）在分层设置下，能在多大程度上平衡模型压缩与准确率？
• RQ4 基于词典的更新机制是否能实现仅用少量样本即可有效适应新任务，同时保留原始知识？
• RQ5 所提出的方法在准确率、内存效率和计算效率方面能否超越当前最先进 few-shot 学习方法？

主要发现

• AgileNet 在 5-way 5-shot 的 Mini-ImageNet 基准上达到 71.39% 的准确率，优于所有先前方法，包括 MAML、Matching Networks 和 Prototypical Networks。
• 与原始 DNN 相比，该模型将内存占用减少最多 5.8 倍，计算成本降低 6 倍，同时保持高准确率。
• 当分解误差阈值 β 达到 0.95 之前，准确率下降可忽略不计；此后性能显著下降，表明压缩与准确率之间存在清晰的权衡。
• 对全连接层进行分层 β 调整可实现显著的内存节省（最多 5.8 倍），且对准确率影响极小，尤其当 β 设置为 0.7 时效果更佳。
• AgileNet 在适应过程中保持了对先前学习类别的性能，由于其基于词典的更新机制，避免了灾难性遗忘。
• 该方法通过极小的参数更新即可实现有效的 few-shot 学习，适用于动态环境中设备端的实时自适应。