[论文解读] IamNN: Iterative and Adaptive Mobile Neural Network for Efficient Image Classification

Sam Leroux, Pavlo Molchanov+4 more|arXiv (Cornell University)|Apr 26, 2018

Advanced Neural Network Applications参考文献 10被引用 23

一句话总结

IamNN 通过结合残差块间的参数共享与自适应计算时间（ACT），提出了一种轻量级、自适应的深度神经网络用于图像分类，显著降低了模型大小和计算成本，同时保持了具有竞争力的准确率。该架构采用共享权重的迭代优化方式，并根据输入动态调整推理复杂度，使参数量减少 90%，在 ImageNet 上 FLOPs 最多降低 65%，仅导致 top-5 准确率轻微下降。

ABSTRACT

Deep residual networks (ResNets) made a recent breakthrough in deep learning. The core idea of ResNets is to have shortcut connections between layers that allow the network to be much deeper while still being easy to optimize avoiding vanishing gradients. These shortcut connections have interesting side-effects that make ResNets behave differently from other typical network architectures. In this work we use these properties to design a network based on a ResNet but with parameter sharing and with adaptive computation time. The resulting network is much smaller than the original network and can adapt the computational cost to the complexity of the input image.

研究动机与目标

• 减少深度神经网络在移动端和边缘设备部署时的模型大小和计算成本。
• 利用 ResNet 的迭代优化特性，实现在层间共享参数。
• 通过自适应计算时间（ACT）机制，根据输入复杂度动态调整每张输入的计算量，降低简单图像的 FLOPs。
• 在模型大幅压缩和计算量可变的情况下，仍保持高准确率。
• 探索用单个共享模块替代多个残差单元，通过迭代方式逐步优化特征表示的可行性。

提出的方法

• 将每个 ResNet 块替换为一个单一的共享处理模块，通过相同权重在多轮迭代中逐步优化特征。
• 使用状态缓冲区累积特征优化结果，初始值为零，每轮迭代将处理模块的输出加到状态中。
• 在每轮迭代前，将原始块输入与当前状态拼接，以保留输入上下文信息。
• 引入自适应计算时间（ACT）机制，根据输入复杂度动态决定每张输入所需的迭代次数。
• 将 ACT 组件建模为可学习门控机制，控制迭代次数，确保各轮迭代权重之和为 1。
• 在处理模块中使用瓶颈结构的 1×1 和 3×3 卷积，配合批量归一化和 ReLU 激活函数。

实验结果

研究问题

• RQ1 在类似 ResNet 的架构中，对残差块实现参数共享，是否能在显著减少模型大小的同时保持或提升准确率？
• RQ2 自适应计算时间（ACT）能否有效应用于前馈卷积神经网络，以降低图像分类任务的平均 FLOPs？
• RQ3 采用共享权重的迭代优化是否能生成对多样化图像复杂度具有鲁棒性与泛化能力的特征表示？
• RQ4 与标准 ResNet 以及其他高效架构（如 MobileNet 和 ShuffleNet）相比，参数共享的自适应网络性能如何？
• RQ5 网络根据样本动态调整计算量的能力，与输入图像的难度在多大程度上相关？

主要发现

• 在 CIFAR10 和 CIFAR100 上，IamNN 相较于 ResNet101 参数量减少 90%，分别达到 450 万和 460 万个参数。
• 在 CIFAR10 上，IamNN 实现 94.6% 的 top-1 准确率，略高于 ResNet101 的 93.8%，可能得益于权重共享带来的正则化效果。
• 在 CIFAR100 上，IamNN 实现 77.8% 的 top-1 准确率，相比 ResNet101 的 79.3% 下降 1.5%，表明在更大数据集上存在权衡。
• 在 ImageNet 上，IamNN 参数量减少 90%（从 6000 万降至 500 万个），FLOPs 平均降低 65%（从 115 亿降至 40 亿），top-5 准确率为 89.0%，低于 ResNet152 的 93.3%。
• 网络根据图像自适应调整计算量：在 CIFAR10 上，FLOPs 范围为 0.7G 到 2G；在 ImageNet 上，范围为 2.5G 到 9G，取决于输入复杂度。
• 当限制每块仅进行一轮迭代时，IamNN 的 top-5 准确率下降至 83.2%，证实迭代优化对性能至关重要。