[论文解读] Energy Efficient Hadamard Neural Networks

Tuba Ceren Deveci, Serdar Çakır+1 more|arXiv (Cornell University)|May 14, 2018

Face and Expression Recognition参考文献 18被引用 16

一句话总结

本文提出二值化权重与哈达玛变换图像网络（BWHIN），一种结合二值化权重网络（BWN）与哈达玛变换图像网络（HIN）的能效型深度学习框架。通过将卷积层权重二值化，并对输入图像应用快速沃尔什-哈达玛变换——两者均仅依赖加法/减法运算——该方法消除了昂贵的乘法运算，实现了显著的能效节省，且分类准确率仅出现轻微下降，尤其在MNIST与CIFAR-10数据集上表现突出。

ABSTRACT

Deep learning has made significant improvements at many image processing tasks in recent years, such as image classification, object recognition and object detection. Convolutional neural networks (CNN), which is a popular deep learning architecture designed to process data in multiple array form, show great success to almost all detection \& recognition problems and computer vision tasks. However, the number of parameters in a CNN is too high such that the computers require more energy and larger memory size. In order to solve this problem, we propose a novel energy efficient model Binary Weight and Hadamard-transformed Image Network (BWHIN), which is a combination of Binary Weight Network (BWN) and Hadamard-transformed Image Network (HIN). It is observed that energy efficiency is achieved with a slight sacrifice at classification accuracy. Among all energy efficient networks, our novel ensemble model outperforms other energy efficient models.

研究动机与目标

• 解决标准卷积神经网络（CNN）在移动与嵌入式系统中能耗高、内存占用大的问题。
• 通过在权重与输入数据中以加法/减法操作替代浮点乘法，降低计算成本。
• 设计一种新型混合架构，结合二值化权重网络（BWN）与哈达玛变换图像网络（HIN），以提升能效与鲁棒性。
• 在标准基准数据集（MNIST与CIFAR-10）上评估所提模型，分析能效与分类准确率之间的权衡。
• 研究网络架构（如池化层与步长大卷积）及平均策略对能效受限环境下性能的影响。

提出的方法

• 采用二值化权重网络（BWN）将卷积层滤波器近似为二值（+1或-1），使卷积运算仅依赖加法与减法。
• 在将图像输入网络前应用快速沃尔什-哈达玛变换（FWHT），利用FWHT仅使用加法与减法的特性。
• 将BWN与HIN整合为统一的集成模型，称为BWHIN，通过两种平均技术（普通平均与随机平均）融合其输出。
• 采用两种CNN架构进行评估：ConvoPool-CNN（含最大池化层）与All-CNN（以步长大卷积替代池化层），以比较能效与准确率的权衡。
• 实现BWHIN的两种变体：BWHIN-NormalAvg与BWHIN-RandomAvg，后者采用随机平均以提升鲁棒性与性能。
• 在MNIST与CIFAR-10上进行模型训练与微调，分析学习率与网络深度等超参数对分类准确率的影响。

实验结果

研究问题

• RQ1 将二值化权重与哈达玛变换输入相结合，是否能显著降低CNN推理过程中的能耗，同时不牺牲分类准确率？
• RQ2 与各自独立的子模型（BWN与HIN）相比，混合型BWHIN模型在准确率与能效方面表现如何？
• RQ3 不同网络架构（特别是基于池化的与基于步长大卷积的）对能效-准确率权衡有何影响？
• RQ4 BWHIN输出的随机平均是否在鲁棒性与准确率方面始终优于普通平均及独立子网络？
• RQ5 在更复杂的CIFAR-10等数据集上，增加网络容量（深度或宽度）在多大程度上可缩小BWHIN与最先进模型之间的准确率差距？

主要发现

• 采用随机平均的BWHIN模型（BWHIN-RandomAvg）在MNIST数据集上达到98.96%的测试准确率，优于单独的BWN与HIN模型。
• 在CIFAR-10上，BWHIN-RandomAvg达到72.65%的测试准确率，相比HIN（67.30%）与BWN（67.70%）均有显著提升。
• 采用步长大卷积的All-CNN架构比含池化层的ConvoPool-CNN更具能效，因计算浪费更少。
• 尽管实现了显著能效提升，所提模型与全精度网络相比仅出现轻微准确率下降，BWHIN在MNIST上已接近最先进性能。
• BWHIN集成模型表现出良好鲁棒性：当某一子网络（如HIN）训练失败时，另一子网络（BWN）可补偿，维持更高整体准确率。
• 超参数调优表明，BWN对参数变化具有高度鲁棒性，而HIN性能因哈达玛变换导致图像尺寸扩展（当尺寸非2的幂时）而略有下降。