[论文解读] LCNN: Lookup-based Convolutional Neural Network

Hessam Bagherinezhad, Mohammad Rastegari+1 more|arXiv (Cornell University)|Nov 20, 2016

Advanced Neural Network Applications参考文献 37被引用 12

一句话总结

LCNN 是一种基于查找的卷积神经网络，它用学习得到的词典向量的稀疏线性组合替代标准卷积滤波器，从而实现快速、紧凑且准确的推理与训练。它在保持 44.3% 的 top-1 准确率的同时，相较于 AlexNet 实现了高达 37.6× 的加速，并通过在不同架构间迁移预训练词典，实现了高效的少样本学习与少次迭代学习。

ABSTRACT

Porting state of the art deep learning algorithms to resource constrained compute platforms (e.g. VR, AR, wearables) is extremely challenging. We propose a fast, compact, and accurate model for convolutional neural networks that enables efficient learning and inference. We introduce LCNN, a lookup-based convolutional neural network that encodes convolutions by few lookups to a dictionary that is trained to cover the space of weights in CNNs. Training LCNN involves jointly learning a dictionary and a small set of linear combinations. The size of the dictionary naturally traces a spectrum of trade-offs between efficiency and accuracy. Our experimental results on ImageNet challenge show that LCNN can offer 3.2x speedup while achieving 55.1% top-1 accuracy using AlexNet architecture. Our fastest LCNN offers 37.6x speed up over AlexNet while maintaining 44.3% top-1 accuracy. LCNN not only offers dramatic speed ups at inference, but it also enables efficient training. In this paper, we show the benefits of LCNN in few-shot learning and few-iteration learning, two crucial aspects of on-device training of deep learning models.

研究动机与目标

• 解决在 VR、AR 和可穿戴设备等资源受限平台部署最先进深度学习模型的挑战。
• 降低因过参数化和权重相关性导致的 CNN 计算与内存开销。
• 在严格限制样本数（少样本学习）和训练迭代次数（少次迭代学习）的条件下，实现在设备端的高效训练。
• 开发一种在大幅减少参数数量和推理时间的同时仍保持高准确率的模型。

提出的方法

• 用从学习得到的词典中提取的向量的稀疏线性组合替代标准卷积滤波器，减少参数数量并支持基于查找的计算。
• 在模型优化过程中联合训练词典和稀疏重构权重（P 张量）。
• 利用词典的可迁移性：在大型网络上预训练词典，并将其迁移至更小或更深的架构中，无需重新训练。
• 在微调过程中固定词典，仅更新稀疏重构权重，从而将可训练参数数量减少至仅稀疏重构权重。
• 利用词典的架构无关特性，实现在不同网络深度与结构之间的迁移学习。
• 应用低精度量化与紧凑数据结构，进一步优化推理效率。

实验结果

研究问题

• RQ1 基于查找的 CNN 是否能在保持 ImageNet 上具有竞争力的准确率的同时，实现显著的推理加速？
• RQ2 在仅每类提供一个或少数几个样本的少样本学习场景中，LCNN 的有效性如何？
• RQ3 LCNN 是否能实现在极少数训练迭代内达到高准确率的训练，从而适用于设备端学习？
• RQ4 预训练词典在不同网络架构之间迁移的程度如何，能否显著加速训练？
• RQ5 词典与重构权重的联合学习是否能带来更高的参数效率与泛化能力？

主要发现

• LCNN 在保持 ImageNet 上 55.1% 的 top-1 准确率的同时，相较于标准 AlexNet 实现了 3.2× 的推理加速。
• 最快的 LCNN 变体在保持 44.3% 的 top-1 准确率的同时，相较于 AlexNet 实现了高达 37.6× 的推理加速。
• 在少样本学习中，当每类仅使用一个样本进行训练时，LCNN 将 top-1 准确率提升了 6.3%。
• 当使用浅层网络迁移的词典时，LCNN 在仅 10,000 次训练迭代后，top-1 准确率比标准 CNN 提高了 16.2%。
• 通过固定词典并仅更新稀疏重构权重，在微调过程中将可训练参数数量减少了 14×。
• 在 ResNet-18 上，LCNN 实现了 5× 加速（top-1 准确率为 62.2%）与 29.2× 加速（top-1 准确率为 51.8%），展现出强大的可扩展性。