[论文解读] Learning a Wavelet-like Auto-Encoder to Accelerate Deep Neural Networks

Tianshui Chen, Lin Liang+3 more|arXiv (Cornell University)|Dec 20, 2017

Advanced Neural Network Applications被引用 6

一句话总结

本文提出一种小波类似自编码器（WAE），将输入图像分解为低频和高频子图像，以实现高效的深度神经网络推理。通过将低频分量输入标准分类器（如VGG或ResNet），并将轻量化网络用于高频分量，该方法在ImageNet上实现了高达3.13倍的加速，同时准确率下降极小，并保持了图像重建质量，支持联合训练以提升性能。

ABSTRACT

Accelerating deep neural networks (DNNs) has been attracting increasing attention as it can benefit a wide range of applications, e.g., enabling mobile systems with limited computing resources to own powerful visual recognition ability. A practical strategy to this goal usually relies on a two-stage process: operating on the trained DNNs (e.g., approximating the convolutional filters with tensor decomposition) and fine-tuning the amended network, leading to difficulty in balancing the trade-off between acceleration and maintaining recognition performance. In this work, aiming at a general and comprehensive way for neural network acceleration, we develop a Wavelet-like Auto-Encoder (WAE) that decomposes the original input image into two low-resolution channels (sub-images) and incorporate the WAE into the classification neural networks for joint training. The two decomposed channels, in particular, are encoded to carry the low-frequency information (e.g., image profiles) and high-frequency (e.g., image details or noises), respectively, and enable reconstructing the original input image through the decoding process. Then, we feed the low-frequency channel into a standard classification network such as VGG or ResNet and employ a very lightweight network to fuse with the high-frequency channel to obtain the classification result. Compared to existing DNN acceleration solutions, our framework has the following advantages: i) it is tolerant to any existing convolutional neural networks for classification without amending their structures; ii) the WAE provides an interpretable way to preserve the main components of the input image for classification.

研究动机与目标

• 解决在资源受限设备上加速深度神经网络的同时不损害识别准确率的挑战。
• 开发一种与现有CNN架构兼容的通用加速框架，无需结构修改。
• 通过可解释的分解方式保留关键图像内容，将低频（内容）与高频（细节/噪声）分量分离。
• 联合训练WAE与分类网络，以同时优化重建保真度与分类性能。
• 评估该方法在噪声环境下的鲁棒性及其在ImageNet以外多样化数据集上的泛化能力。

提出的方法

• WAE使用编码层将$224 \times 224$输入图像分解为两个$112 \times 112$子图像，分别表示低频和高频分量。
• 解码层从两个子图像重建原始图像，通过重建损失强制保证重建保真度。
• 对高频通道施加能量最小化损失，以降低其能量，从而实现轻量化网络的高效处理。
• 将低频子图像输入标准分类网络（如VGG16或ResNet），同时让轻量化网络与高频子图像融合以完成最终分类。
• 通过组合损失函数（包含重建误差与能量最小化）联合训练WAE与分类网络。
• 该方法避免滤波器近似或权重量化，保留原始网络结构，支持即插即用部署。

实验结果

研究问题

• RQ1 小波类似自编码器能否在不修改基础网络架构的前提下，将输入图像分解为可解释的低频与高频分量，从而实现推理加速？
• RQ2 联合训练WAE与分类网络是否能相比仅微调基础网络，进一步提升准确率？
• RQ3 基于WAE的加速方法是否能在ImageNet和CACD等多样化数据集上泛化，并在噪声条件下保持性能？
• RQ4 与张量分解或量化等现有加速技术相比，该方法在加速比与准确率方面表现如何？
• RQ5 最小化高频能量在多大程度上提升了对图像噪声的鲁棒性？

主要发现

• 在ImageNet上，该方法在CPU上实现3.13倍加速，在GPU上实现2.59倍加速，相比标准VGG16-Net，top-5错误率仅增加1.87%。
• 联合微调将top-5错误率从12.21%降低至11.87%，证明端到端优化的优势。
• 在ResNet-50上，该方法在CPU上实现1.88倍加速，top-5错误率仅增加0.8%，在速度与准确率上均优于ThiNet。
• 在CACD人脸数据集上，该方法实现3.13倍加速，且准确率较VGG16-Net提升0.22%，表现出强大泛化能力。
• 在高斯噪声（方差0.05）条件下，该方法比VGG16-Net准确率高出10.81%，表明对噪声具有更强鲁棒性。
• WAE框架保持了高重建质量，并通过最小化高频分量的计算量，实现了高效的分类。