[论文解读] Denoising Noisy Neural Networks: A Bayesian Approach with Compensation

Yulin Shao, Soung Chang Liew+1 more|arXiv (Cornell University)|May 22, 2021

Wireless Signal Modulation Classification参考文献 25被引用 7

一句话总结

本文提出了一种用于无线传输、模拟硬件或量化引起的噪声神经网络（NoisyNNs）的贝叶斯去噪框架，采用最小均方误差（MMSE）估计器并引入补偿机制以重建干净权重。在噪声训练条件下，该方法在ResNet18上的测试准确率相比最大似然估计（ML）最高可提升13.4 dB。

ABSTRACT

Deep neural networks (DNNs) with noisy weights, which we refer to as noisy neural networks (NoisyNNs), arise from the training and inference of DNNs in the presence of noise. NoisyNNs emerge in many new applications, including the wireless transmission of DNNs, the efficient deployment or storage of DNNs in analog devices, and the truncation or quantization of DNN weights. This paper studies a fundamental problem of NoisyNNs: how to reconstruct the DNN weights from their noisy manifestations. While all prior works relied on the maximum likelihood (ML) estimation, this paper puts forth a denoising approach to reconstruct DNNs with the aim of maximizing the inference accuracy of the reconstructed models. The superiority of our denoiser is rigorously proven in two small-scale problems, wherein we consider a quadratic neural network function and a shallow feedforward neural network, respectively. When applied to advanced learning tasks with modern DNN architectures, our denoiser exhibits significantly better performance than the ML estimator. Consider the average test accuracy of the denoised DNN model versus the weight variance to noise power ratio (WNR) performance. When denoising a noisy ResNet34 model arising from noisy inference, our denoiser outperforms ML estimation by up to 4.1 dB to achieve a test accuracy of 60%.When denoising a noisy ResNet18 model arising from noisy training, our denoiser outperforms ML estimation by 13.4 dB and 8.3 dB to achieve test accuracies of 60% and 80%, respectively.

研究动机与目标

• 解决在无线传输、模拟计算或量化过程中，深度神经网络（DNN）权重受噪声污染所带来的重建挑战。
• 克服最大似然（ML）估计方法在噪声DNN场景下无法优化推理准确率的局限性。
• 提出一种贝叶斯去噪方法，明确以最大化重建DNN模型的测试准确率为目标，而非仅估计权重。
• 为去噪器的优越性提供理论依据，并在小规模与大规模DNN设置中进行实证验证。

提出的方法

• 将去噪问题建模为贝叶斯推断任务，将噪声权重视为受加性白高斯噪声（AWGN）污染的随机变量。
• 推导用于DNN权重重建的最小均方误差（MMSE）估计器，并引入对权重分布的先验知识。
• 提出一种补偿机制，以校正MMSE估计器在非高斯权重分布下引入的偏差。
• 采用二次激活函数和浅层前馈网络作为分析测试平台，严格证明所提去噪器优于ML估计。
• 将去噪器应用于ResNet18和ResNet34等现代网络架构，在噪声推理与训练条件下进行验证。
• 通过解析推导与数值验证，针对不同噪声功率比（WNR）优化去噪参数（如正则化强度）。

实验结果

研究问题

• RQ1 贝叶斯去噪方法是否能在从噪声观测中重建DNN权重方面优于最大似然估计？
• RQ2 在噪声神经网络场景下，所提出的去噪器相比ML估计在推理准确率上的提升程度如何？
• RQ3 在已知权重分布的小规模问题中，贝叶斯去噪器的理论性能增益是多少？
• RQ4 当真实权重分布偏离高斯假设时，补偿机制如何提升去噪性能？
• RQ5 在实际DNN如ResNet18和ResNet34于噪声传输或训练条件下的测试准确率与信噪比（WNR）方面，可实现的性能增益是多少？

主要发现

• 在噪声推理条件下对噪声ResNet34模型进行去噪时，所提贝叶斯去噪器相比最大似然（ML）估计在WNR上最高提升4.1 dB。
• 对于在噪声下训练的噪声ResNet18模型，去噪器在60%测试准确率下相比ML估计提升13.4 dB，在80%测试准确率下提升8.3 dB。
• 理论分析表明，最优去噪参数θ*为√(σ_w² / (σ_w² + 2σ_z²))，该参数在MMSE准则下最小化期望失真。
• 去噪器性能显著提升，原因在于其明确以优化推理准确率为目标，而非单纯最大化似然。
• 补偿机制有效降低了MMSE估计器的偏差，尤其在权重分布为非高斯或重尾时表现更优。
• 性能增益在低至中等信噪比下最为显著，此时ML估计因高方差与偏差而性能下降。