[论文解读] BARS: Joint Search of Cell Topology and Layout for Accurate and Efficient Binary ARchitectures

Tianchen Zhao, Xuefei Ning+7 more|arXiv (Cornell University)|Nov 21, 2020

Advanced Neural Network Applications参考文献 37被引用 5

一句话总结

BARS 提出了一种联合可微神经架构搜索（NAS）框架，同时优化二值神经网络（BNNs）的细胞拓扑结构（微观层面）与网络深度/宽度布局（宏观层面）。通过设计定制的两级搜索空间，并结合 Gumbel 采样与熵正则化，BARS 发现了完全二值化的架构，在显著减少浮点运算量的同时实现了最先进（SOTA）的准确率，优于在 CIFAR-10 和 ImageNet 上的手动设计及先前基于 NAS 的 BNN 方法。

ABSTRACT

Binary Neural Networks (BNNs) have received significant attention due to their promising efficiency. Currently, most BNN studies directly adopt widely-used CNN architectures, which can be suboptimal for BNNs. This paper proposes a novel Binary ARchitecture Search (BARS) flow to discover superior binary architecture in a large design space. Specifically, we analyze the information bottlenecks that are related to both the topology and layout architecture design choices. And we propose to automatically search for the optimal information flow. To achieve that, we design a two-level (Macro & Micro) search space tailored for BNNs and apply a differentiable neural architecture search (NAS) to explore this search space efficiently. The macro-level search space includes width and depth decisions, which is required for better balancing the model performance and complexity. We also design the micro-level search space to strengthen the information flow for BNN. %A notable challenge of BNN architecture search lies in that binary operations exacerbate the "collapse" problem of differentiable NAS, for which we incorporate various search and derive strategies to stabilize the search process. On CIFAR-10, BARS achieves 1.5% higher accuracy with 2/3 binary operations and 1/10 floating-point operations comparing with existing BNN NAS studies. On ImageNet, with similar resource consumption, BARS-discovered architecture achieves a 6% accuracy gain than hand-crafted binary ResNet-18 architectures and outperforms other binary architectures while fully binarizing the architecture backbone.

研究动机与目标

• 为解决因权重和激活值被量化为 1 位导致的信息瓶颈问题，从而引发 BNN 性能下降。
• 克服将全精度 CNN 架构迁移至 BNN 时的次优性，此类迁移常导致信息流受阻。
• 开发一种统一的可微 NAS 框架，联合搜索 BNN 的微观拓扑与宏观布局。
• 通过完全二值化主干网络（包括下采样层），最小化全精度运算量，同时最大化准确率。
• 通过改进策略（如 Gumbel 采样与熵正则化）稳定大规模搜索空间中的搜索过程。

提出的方法

• 设计两级搜索空间：宏观层面用于深度与宽度决策，微观层面用于包含二值卷积与跳跃连接的细胞拓扑。
• 将可微 NAS（DARTS）扩展至使用统一的可微公式，联合优化宏观与微观搜索空间。
• 引入带有温度调度的 Gumbel 采样，以在搜索初期促进探索，在后期实现更自信的决策。
• 应用熵正则化以通过促进多样化且自信的操作选择来稳定架构搜索过程。
• 设计一种改进的二值下采样层，在保持信息流的同时实现网络的完全二值化。
• 采用预热训练与超参数调度策略，以防止可微 NAS 中常见的“坍缩至捷径”问题。

实验结果

研究问题

• RQ1 联合搜索宏观布局与微观拓扑是否能超越手工设计或基于全精度 NAS（FP-NAS）适配的架构，进一步提升 BNN 性能？
• RQ2 BNN 中的信息瓶颈如何影响性能？是否可通过微观与宏观层面的架构设计加以缓解？
• RQ3 能否有效将可微 NAS 框架适配至主干网络完全二值化的 BNN？
• RQ4 在大规模复杂 BNN 搜索空间中，哪些搜索策略最能稳定搜索过程？
• RQ5 如跳跃连接与下采样操作等架构选择，如何影响 BNN 中的信息流与最终准确率？

主要发现

• 在 CIFAR-10 上，BARS 实现了 93.0% 的 top-1 准确率，浮点运算量仅为先前 BNN NAS 方法的 1/10，二进制运算量减少至 2/3。
• 在 ImageNet 上，BARS 发现的架构相比完全二值化的 ResNet-18 准确率提升 6%，同时资源消耗显著降低。
• BARS 发现的架构完全二值化了主干网络，包括下采样层，而先前工作通常为性能保留部分全精度层。
• 消融实验表明，若移除操作级跳跃连接或改进的下采样层，BARS-B 的准确率分别下降 0.2% 和 0.3%，表明架构间存在显著协同效应。
• 宏观层面的深度与宽度联合搜索相比均匀扩展宽度，实现了更优的性能-复杂度权衡，Pareto 前沿分析验证了这一点。
• 在 ImageNet 上发现的细胞结构比 CIFAR-10 上的具有更多卷积和更复杂的跳跃连接，反映出数据集特定的架构偏好。