[论文解读] Hybrid Composition with IdleBlock: More Efficient Networks for Image Recognition

Bing Xu, Andrew Tulloch+3 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Neural Network Applications参考文献 31被引用 5

一句话总结

本文提出IdleBlock，一种新型神经网络模块，通过保留部分输入不变（即‘闲置’）来剪枝内部连接，并提出混合组合策略——将IdleBlock与标准MBBlock交替使用，以提升效率。在不使用神经架构搜索的情况下，采用混合结构的MobileNet v3与EfficientNet-B0在同等计算预算下实现了最先进（SOTA）的准确率，优于人工设计及NAS优化的模型。

ABSTRACT

We propose a new building block, IdleBlock, which naturally prunes connections within the block. To fully utilize the IdleBlock we break the tradition of monotonic design in state-of-the-art networks, and introducing hybrid composition with IdleBlock. We study hybrid composition on MobileNet v3 and EfficientNet-B0, two of the most efficient networks. Without any neural architecture search, the deeper "MobileNet v3" with hybrid composition design surpasses possibly all state-of-the-art image recognition network designed by human experts or neural architecture search algorithms. Similarly, the hybridized EfficientNet-B0 networks are more efficient than previous state-of-the-art networks with similar computation budgets. These results suggest a new simpler and more efficient direction for network design and neural architecture search.

研究动机与目标

• 为解决现代卷积神经网络中单调、全连接模块设计效率低下的问题，提出一种能自然剪枝连接的新模块设计。
• 通过提出非单调的混合组合策略，挑战当前最先进网络中单调堆叠模块的常规做法。
• 证明通过更深层次、混合结构设计利用剪枝后的计算预算，可获得比现有NAS或专家设计方法更高的效率与准确率。
• 评估残差块中通道混洗操作的必要性，表明在所提设计中该操作并非必需。

提出的方法

• 提出IdleBlock，即MBBlock的一种变体，其中部分输入保持不变，从而在不增加计算量的前提下有效剪枝内部连接。
• 提出混合组合（HC），一种非单调的模块堆叠策略，通过在标准MBBlock与IdleBlock之间交替，以平衡信息流动与计算效率。
• 采用改进的模块设计，使信息交换发生在IdleBlock之外，从而在减少计算量的同时保持特征连接性。
• 采用类似EfficientNet的复合缩放策略（深度、宽度、分辨率），但将其应用于含IdleBlock的混合架构，以维持效率。
• 通过消融实验比较通道混洗操作（ISB）与非混洗IdleBlock，表明混洗操作对性能并非必要。
• 采用分布式训练验证深层网络结果，对比单调MBBlock堆叠与混合IdleBlock组合的效果。

实验结果

研究问题

• RQ1 一种能内在剪枝连接的模块设计（IdleBlock）是否能在不损失准确率的前提下提升网络效率？
• RQ2 打破单调模块堆叠模式，改用混合组合策略，是否能带来更优的准确率-计算量权衡？
• RQ3 在混合架构中使用IdleBlock时，残差块中的通道混洗操作是否必要？
• RQ4 在同等计算预算下，使用IdleBlock的混合组合是否能超越人工设计与NAS优化的网络？
• RQ5 L/R-IdleBlock（左右交替）的放置方式如何影响感受野与最终准确率？

主要发现

• 在MobileNet v3中采用IdleBlock的混合组合，实现380.1 MAdds下的77.5% ImageNet Top-1准确率，超越所有此前SOTA模型在相似计算预算下的表现。
• 采用IdleBlock的混合EfficientNet-B0在752.2 MAdds下达到79.5% Top-1准确率，优于原始EfficientNet-B0（79.2% at 715.9 MAdds）及其他SOTA模型。
• 将15个MBBlock中的14个替换为IdleBlock（无通道混洗）可实现73.8% Top-1准确率，与ISB设计（73.8%）性能相当，但计算复杂度更低。
• 与单调MBBlock堆叠相比，混合结构的IdleBlock网络在相同深度与计算量下，准确率高出0.3–0.4%，且计算量减少1.3倍。
• L/R-IdleBlock交替放置优于单调堆叠，使更深的MobileNet v3配置Top-1准确率达到77.57%（对比单调堆叠的77.39%）。
• 消融实验确认，通道混洗操作在所提设计中并非必需，仅使用IdleBlock即可实现相当或更优性能，且计算量更低。