[论文解读] Anytime Neural Prediction via Slicing Networks Vertically

Hankook Lee, Jinwoo Shin|arXiv (Cornell University)|Jul 7, 2018

Advanced Neural Network Applications参考文献 2被引用 14

一句话总结

本文提出 I-ResNeXt 和 IS-ResNeXt，两种新型深度学习架构，通过垂直切分多分支 ResNeXt 模型，训练具有相同深度的包含性轻量子网络，实现任意时间神经预测。通过为每个子网络独立使用批量归一化并强制参数稀疏化模式，该方法在 ImageNet 上以相同准确率下相比 MSDNet 最多减少 43.3% 的 FLOPs，同时实现高效的单次前向传播训练，并在 CIFAR 和 ImageNet 基准测试中超越先前的任意时间模型。

ABSTRACT

The pioneer deep neural networks (DNNs) have emerged to be deeper or wider for improving their accuracy in various applications of artificial intelligence. However, DNNs are often too heavy to deploy in practice, and it is often required to control their architectures dynamically given computing resource budget, i.e., anytime prediction. While most existing approaches have focused on training multiple shallow sub-networks jointly, we study training thin sub-networks instead. To this end, we first build many inclusive thin sub-networks (of the same depth) under a minor modification of existing multi-branch DNNs, and found that they can significantly outperform the state-of-art dense architecture for anytime prediction. This is remarkable due to their simplicity and effectiveness, but training many thin sub-networks jointly faces a new challenge on training complexity. To address the issue, we also propose a novel DNN architecture by forcing a certain sparsity pattern on multi-branch network parameters, making them train efficiently for the purpose of anytime prediction. In our experiments on the ImageNet dataset, its sub-networks have up to $43.3\%$ smaller sizes (FLOPs) compared to those of the state-of-art anytime model with respect to the same accuracy. Finally, we also propose an alternative task under the proposed architecture using a hierarchical taxonomy, which brings a new angle for anytime prediction.

研究动机与目标

• 为解决在资源受限环境中部署深度神经网络的挑战，通过在不同计算预算下实现动态模型自适应。
• 通过训练深度相等的轻量子网络而非浅层子网络，克服联合训练中浅层子网络的根本局限性。
• 通过在多分支参数上引入稀疏模式，降低多个轻量子网络的训练复杂度，实现单次前向/反向传播训练。
• 探索一种新任务设置——分层任意时间预测，其中粗粒度预测在低资源条件下仍能保持性能。

提出的方法

• 通过从多分支 ResNeXt 架构中逐步移除分支，构建包含性轻量子网络，同时保持深度不变。
• 通过为每个子网络独立使用批量归一化层，联合训练所有子网络，以稳定训练过程并提升性能。
• 通过在参数上强制特定稀疏模式，提出 IS-ResNeXt 架构，实现单次前向/反向传播训练，将训练时间减少为原来的 1/K。
• 采用分层任意时间损失函数，使子网络能够在分类体系中预测粗粒度标签，从而在低资源条件下提升最差情况下的准确率。
• 利用现有最先进多分支架构（如 ResNeXt）作为骨干网络，以确保强基线性能。

实验结果

研究问题

• RQ1 在任意时间预测任务中，深度相等的轻量子网络是否能优于浅层子网络？
• RQ2 能否通过参数稀疏化在不损失性能的前提下，使多个轻量子网络的联合训练更加高效？
• RQ3 使用分层分类体系是否能提升在低资源约束下的任意时间预测鲁棒性？
• RQ4 与最先进的任意时间模型（如 MSDNet）相比，所提出的架构是否能以显著更少的 FLOPs 实现更高准确率？

主要发现

• 在 CIFAR-10 和 CIFAR-100 上，I-ResNeXt 子网络在相同准确率下相比 MSDNet 最多减少 56.0% 和 48.7% 的 FLOPs。
• 在 ImageNet 上，IS-ResNeXt 子网络在相同准确率下相比 MSDNet 子网络最多减少 43.3% 的 FLOPs，同时保持与完整网络相当的性能。
• I-ResNeXt 的完整网络与原始 ResNeXt 准确率几乎完全一致，表明与子网络联合训练未造成性能下降。
• IS-ResNeXt 架构通过支持单次反向传播，使训练速度相比 I-ResNeXt 提高 K 倍，从而实现大规模训练的可行性。
• 在分层任意时间预测中，IS-ResNeXt 通过支持从粗到细的标签预测，将 CUB-200 数据集上的最差情况准确率从 31.2% 提升至 47.5%。