[论文解读] Progressive Neural Networks for Image Classification

Zhang Zhi, Guanghan Ning+5 more|arXiv (Cornell University)|Apr 25, 2018

Advanced Neural Network Applications参考文献 12被引用 7

一句话总结

本文提出 ProgNet，一种渐进式神经网络框架，可根据图像的视觉识别难度动态调整推理复杂度。通过按顺序激活容量逐步增加的阶段，并采用基于学习置信度的决策策略，ProgNet 仅用一个模型即可在 10 倍复杂度范围内实现最先进（SOTA）的准确率，优于 MobileNet 和 DenseNet 变体在准确率-复杂度权衡方面的表现。

ABSTRACT

The inference structures and computational complexity of existing deep neural networks, once trained, are fixed and remain the same for all test images. However, in practice, it is highly desirable to establish a progressive structure for deep neural networks which is able to adapt its inference process and complexity for images with different visual recognition complexity. In this work, we develop a multi-stage progressive structure with integrated confidence analysis and decision policy learning for deep neural networks. This new framework consists of a set of network units to be activated in a sequential manner with progressively increased complexity and visual recognition power. Our extensive experimental results on the CIFAR-10 and ImageNet datasets demonstrate that the proposed progressive deep neural network is able to obtain more than 10 fold complexity scalability while achieving the state-of-the-art performance using a single network model satisfying different complexity-accuracy requirements.

研究动机与目标

• 为解决现有深度神经网络推理复杂度固定的问题，即所有图像均以相同的计算成本处理，而不论其视觉复杂度如何。
• 开发一种渐进式网络结构，根据输入图像的难度动态调整计算资源，从而提升对简单图像的推理效率。
• 学习一种基于置信度的决策策略，以确定何时可对低复杂度图像提前终止推理。
• 使用单一统一模型，在不同计算预算下实现最先进（SOTA）的准确率-复杂度权衡。

提出的方法

• ProgNet 采用多阶段架构，每个阶段均为深度逐步增加、能力更强的神经网络单元，按顺序依次激活。
• 每个阶段独立生成分类决策，最终预测仅在置信度足够高或所有阶段均处理完毕后才生成。
• 置信度分析与决策策略（CADP）网络以循环模型实现，用于在每个阶段评估置信度，并决定是否继续下一阶段或提前终止。
• CADP 网络通过强化学习或监督学习方法端到端训练，以优化准确率与推理成本之间的权衡。
• 该框架支持串行与并行的 ProgNet 变体，并提供动态与固定控制器模式，以提升部署灵活性。
• 训练在 CIFAR-10 和 ImageNet 上使用标准数据增强与归一化方法，通过不同阶段与控制器策略评估复杂度-准确率曲线。

实验结果

研究问题

• RQ1 单一深度神经网络模型能否在保持或提升准确率的前提下，实现每张输入图像的可变计算复杂度？
• RQ2 基于视觉复杂度，学习到的决策策略在预测每张图像最优推理深度方面的有效性如何？
• RQ3 渐进式网络结构在不同复杂度水平下，与 MobileNet 和 DenseNet 等固定架构模型相比，性能提升程度如何？
• RQ4 置信度分析的集成在可变计算预算下，对图像分类效率与准确率的提升作用有多大？

主要发现

• ProgNet-p4-dynamic 在 ImageNet 上实现 73.9% 的 top-1 准确率，仅需 1.87G MACC 操作，优于相同复杂度水平下的 MobileNet-v2（71.7%）。
• 在相同准确率下，ProgNet-p4-dynamic 相较于 MobileNet-v2 将推理时间减少 20%，CPU 上为 89.03ms，GPU 上为 1.17ms。
• CADP 控制器在复杂度-准确率性能曲线中显著优于随机终止策略。
• ProgNet 在计算复杂度上展现出超过 10 倍的可扩展性，同时在整个推理成本范围内保持最先进（SOTA）性能。
• 采用 6 个阶段与动态控制的框架，在更低计算成本下实现 74.6% 的 top-1 准确率，优于 ResNet-18 与 DenseNet-121。