[論文レビュー] Denoising Noisy Neural Networks: A Bayesian Approach with Compensation

Yulin Shao, Soung Chang Liew+1 more|arXiv (Cornell University)|May 22, 2021

Wireless Signal Modulation Classification参考文献 25被引用数 7

ひとこと要約

本稿では、無線伝送、アナログハードウェア、または量子化に起因するノイズのあるニューラルネットワーク（NoisyNNs）のためのベイジアンデノイジングフレームワークを提案する。最小二乗平均誤差（MMSE）推定器に補正を加えることで、クリーンな重みを再構築する。ノイズのある学習条件下でResNet18を用いた実験において、テスト精度の観点から最尤推定法（ML）に比べ最大13.4 dBの性能向上を達成した。

ABSTRACT

Deep neural networks (DNNs) with noisy weights, which we refer to as noisy neural networks (NoisyNNs), arise from the training and inference of DNNs in the presence of noise. NoisyNNs emerge in many new applications, including the wireless transmission of DNNs, the efficient deployment or storage of DNNs in analog devices, and the truncation or quantization of DNN weights. This paper studies a fundamental problem of NoisyNNs: how to reconstruct the DNN weights from their noisy manifestations. While all prior works relied on the maximum likelihood (ML) estimation, this paper puts forth a denoising approach to reconstruct DNNs with the aim of maximizing the inference accuracy of the reconstructed models. The superiority of our denoiser is rigorously proven in two small-scale problems, wherein we consider a quadratic neural network function and a shallow feedforward neural network, respectively. When applied to advanced learning tasks with modern DNN architectures, our denoiser exhibits significantly better performance than the ML estimator. Consider the average test accuracy of the denoised DNN model versus the weight variance to noise power ratio (WNR) performance. When denoising a noisy ResNet34 model arising from noisy inference, our denoiser outperforms ML estimation by up to 4.1 dB to achieve a test accuracy of 60%.When denoising a noisy ResNet18 model arising from noisy training, our denoiser outperforms ML estimation by 13.4 dB and 8.3 dB to achieve test accuracies of 60% and 80%, respectively.

研究の動機と目的

• 無線伝送、アナログ計算、または量子化の過程でノイズが加わった深層ニューラルネットワーク（DNN）重みを復元する課題に対処すること。
• ノイズのあるDNN環境下で推論精度を最適化できない最尤（ML）推定法の限界を克服すること。
• 重み推定そのものではなく、再構築されたDNNモデルのテスト精度を明示的に最大化するベイジアンデノイジング手法の開発。
• 小規模および大規模なDNN設定におけるデノイザーの優位性について、理論的裏付けと実験的検証を提供すること。

提案手法

• ノイズのある重みを加法的ホワイトガウスノイズ（AWGN）によって汚染された確率変数としてモデル化し、デノイジング問題をベイジアン推論タスクとして定式化する。
• DNN重み再構築のための最小二乗平均誤差（MMSE）推定器を導出する。この際、重み分布に関する事前知識を組み込む。
• 非ガウス分布を示す重み分布が存在する状況において、MMSE推定器が生じるバイアスを補正するための補正機構を導入する。
• 解析的テストベッドとして、2次関数活性化関数と浅いフィードフォワードネットワークを用い、ML推定法に比べてデノイザーが優れていることを厳密に証明する。
• ノイズのある推論および学習環境下で、現代的なアーキテクチャ（ResNet18およびResNet34）にデノイザーを適用する。
• さまざまなノイズ電力比（WNR）の下で、解析的導出と数値的検証を用いて、デノイジングパラメータ（例：正則化強度）を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンデノイジングアプローチは、ノイズのある観測値からDNN重みを再構築する際に、最尤推定法を上回ることができるか？
• RQ2 ノイズのあるニューラルネットワーク環境下で、提案されたデノイザーは最尤推定法に比べて推論精度をどのように向上させるか？
• RQ3 既知の重み分布を有する小規模な問題において、ベイジアンデノイザーの理論的性能向上はどの程度か？
• RQ4 真の重み分布がガウス分布から逸脱している場合、補正機構はデノイジング性能をどのように向上させるか？
• RQ5 実世界のDNN（例：ResNet18およびResNet34）がノイズのある伝送または学習条件下で、テスト精度および信号対ノイズ比（WNR）の観点から、達成可能な性能向上はどの程度か？

主な発見

• ノイズのある推論条件下で、ノイズのあるResNet34モデルをデノイジングする際、提案されたベイジアンデノイザーは最尤推定法に比べ最大4.1 dBのWNR向上を達成した。
• ノイズのある学習条件下でノイズのあるResNet18モデルを処理する場合、60%のテスト精度において最尤推定法に比べ13.4 dBの向上を、80%のテスト精度においては8.3 dBの向上を達成した。
• 理論的分析により、最適なデノイジングパラメータθ*は√(σ_w² / (σ_w² + 2σ_z²))として導出され、これはMMSE基準下での期待歪みを最小化する。
• デノイザーは尤度最大化ではなく推論精度の最適化を明示的に行うため、顕著な性能向上を達成している。
• 補正機構は、特に重み分布が非ガウス的または重たい尾部を示す場合に、MMSE推定器のバイアスを効果的に低減する。
• 性能向上は、最尤推定法が高い分散とバイアスを示す低〜中程度の信号対ノイズ比領域で顕著に現れる。