[论文解读] A comprehensive review of Binary Neural Network

Chunyu Yuan, Sos С. Agaian|arXiv (Cornell University)|Oct 11, 2021

Advanced Memory and Neural Computing参考文献 62被引用 12

一句话总结

本文针对1-bit权重与激活的二值神经网络（BNNs）提供了全面且最新的综述，系统性地分析了量化、损失函数、梯度近似及网络架构等方向的优化技术。文章对截至2021年的BNN研究进展进行了批判性整合，识别出关键的研究空白，并提出了面向资源受限设备高效部署的未来方向，兼顾高精度与低计算成本。

ABSTRACT

Deep learning (DL) has recently changed the development of intelligent systems and is widely adopted in many real-life applications. Despite their various benefits and potentials, there is a high demand for DL processing in different computationally limited and energy-constrained devices. It is natural to study game-changing technologies such as Binary Neural Networks (BNN) to increase deep learning capabilities. Recently remarkable progress has been made in BNN since they can be implemented and embedded on tiny restricted devices and save a significant amount of storage, computation cost, and energy consumption. However, nearly all BNN acts trade with extra memory, computation cost, and higher performance. This article provides a complete overview of recent developments in BNN. This article focuses exclusively on 1-bit activations and weights 1-bit convolution networks, contrary to previous surveys in which low-bit works are mixed in. It conducted a complete investigation of BNN's development -from their predecessors to the latest BNN algorithms/techniques, presenting a broad design pipeline and discussing each module's variants. Along the way, it examines BNN (a) purpose: their early successes and challenges; (b) BNN optimization: selected representative works that contain essential optimization techniques; (c) deployment: open-source frameworks for BNN modeling and development; (d) terminal: efficient computing architectures and devices for BNN and (e) applications: diverse applications with BNN. Moreover, this paper discusses potential directions and future research opportunities in each section.

研究动机与目标

• 提供关于二值神经网络（BNNs）的全面、最新综述，聚焦于1-bit权重与激活，解决先前综述中的局限性。
• 批判性评估并纠正现有文献综述中的错误，例如错误归因的基准结果和不准确的硬件效率声明。
• 系统性地对BNN优化技术进行分类与分析，涵盖量化、损失函数、梯度近似、网络拓扑结构及训练策略。
• 呈现开源BNN框架、高效硬件平台及实际应用的精选概述。
• 识别开放挑战并提出未来研究方向，尤其关注3D BNNs、基于Transformer的BNNs以及自动化架构搜索。

提出的方法

• 本文对截至2021年发表于知名会议与期刊的BNN相关文献进行了系统性文献综述，专一聚焦于纯1-bit BNNs（即权重与激活均为1-bit）。
• 将BNN优化技术划分为五大核心类别：量化函数、激活/权重分布、损失函数改进、梯度近似以及网络拓扑与训练策略。
• 作者通过详细表格将每种BNN方法映射至其在各优化类别中的具体贡献，避免过度简化，允许多个类别对应同一方法。
• 综述包含对BNN框架、硬件平台（如FPGA、ASIC）及效率指标（如模型大小、推理速度、能耗）的对比分析。
• 评估BNN在计算机视觉、自然语言处理（NLP）、语音识别、生物医学信号处理及3D动作识别等领域的应用，引用具体性能指标。
• 通过批判性分析现有工作，识别出研究空白，尤其关注3D任务、基于Transformer的BNNs以及自动化架构搜索领域。

实验结果

研究问题

• RQ1 哪些关键优化技术使1-bit权重与激活的BNNs能够实现高精度？这些技术如何被系统性地分类？
• RQ2 为何以往关于BNNs的综述存在基准结果与硬件效率声明的错误？本文如何纠正这些问题？
• RQ3 在计算机视觉、NLP及生物医学信号处理等多样化领域中，BNNs的当前性能水平与发展趋势如何？
• RQ4 在3D数据与基于Transformer的架构中部署BNNs面临的主要挑战是什么？这些挑战带来了哪些机遇？
• RQ5 如何有效加速并部署BNNs于边缘设备？哪些硬件平台与框架最为合适？

主要发现

• 本文指出，BNNs可实现比全精度32位CNN小32倍的模型大小，且推理速度提升58倍，使其特别适合边缘设备部署。
• BNNH（二值神经网络哈希）实现了高效的大规模图像检索，且存储成本极低，展示了BNN在检索系统中的实用性。
• 3D BNN模型在KTH数据集上达到每秒384帧的推理速度，准确率达89.2%，展现出在人体动作识别中的强劲性能。
• 首个基于BNN的语义分割网络Binary DAD-Net实现了自动驾驶中可行驶区域的实时检测。
• BNNs已成功应用于生物医学信号处理，包括心电图（ECG）与脑电图（EEG），推动智能、自主的医疗设备发展。
• 尽管已有进展，但深层网络与3D任务中仍存在显著性能下降，主要源于二值化导致的信息累积损失，凸显关键开放挑战。