[논문 리뷰] Denoising Noisy Neural Networks: A Bayesian Approach with Compensation

Yulin Shao, Soung Chang Liew외 1명|arXiv (Cornell University)|2021. 05. 22.

Wireless Signal Modulation Classification참고 문헌 25인용 수 7

한 줄 요약

이 논문은 무선 전송, 아날로그 하드웨어 또는 양자화로 인해 발생하는 노이즈 있는 신경망(NoisyNNs)을 위한 베이지안 디노이징 프레임워크를 제안한다. 이 프레임워크는 청소된 가중치를 복원하기 위해 최소 평균 제곱 오차(MMSE) 추정기와 보정을 사용한다. 노이즈 있는 훈련 조건에서 ResNet18에 대해 최대 13.4 dB의 성능 향상을 기록하며, 테스트 정확도 측면에서 최대우도 추정법보다 뛰어난 성능을 보인다.

ABSTRACT

Deep neural networks (DNNs) with noisy weights, which we refer to as noisy neural networks (NoisyNNs), arise from the training and inference of DNNs in the presence of noise. NoisyNNs emerge in many new applications, including the wireless transmission of DNNs, the efficient deployment or storage of DNNs in analog devices, and the truncation or quantization of DNN weights. This paper studies a fundamental problem of NoisyNNs: how to reconstruct the DNN weights from their noisy manifestations. While all prior works relied on the maximum likelihood (ML) estimation, this paper puts forth a denoising approach to reconstruct DNNs with the aim of maximizing the inference accuracy of the reconstructed models. The superiority of our denoiser is rigorously proven in two small-scale problems, wherein we consider a quadratic neural network function and a shallow feedforward neural network, respectively. When applied to advanced learning tasks with modern DNN architectures, our denoiser exhibits significantly better performance than the ML estimator. Consider the average test accuracy of the denoised DNN model versus the weight variance to noise power ratio (WNR) performance. When denoising a noisy ResNet34 model arising from noisy inference, our denoiser outperforms ML estimation by up to 4.1 dB to achieve a test accuracy of 60%.When denoising a noisy ResNet18 model arising from noisy training, our denoiser outperforms ML estimation by 13.4 dB and 8.3 dB to achieve test accuracies of 60% and 80%, respectively.

연구 동기 및 목표

• 무선 전송, 아날로그 연산 또는 양자화 과정에서 손상된 딥 신경망(DNN) 가중치를 복원하는 과제를 해결한다.
• 노이즈 있는 DNN 환경에서 추론 정확도를 최적화하지 못하는 최대우도(ML) 추정법의 한계를 극복한다.
• 단순히 가중치 추정을 넘어서 재구성된 DNN 모델의 테스트 정확도를 명시적으로 최대화하는 베이지안 디노이징 접근법을 개발한다.
• 작은 규모와 큰 규모의 DNN 환경에서 디노이저의 우월성을 이론적으로 정당화하고 실증적으로 검증한다.

제안 방법

• 노이즈 있는 가중치를 가우시안 노이즈에 의해 훼손된 난수 변수로 모델링하여, 디노이징 문제를 베이지안 추론 과제로 재구성한다.
• 가중치 분포에 대한 사전 지식을 통합하여 DNN 가중치 복원을 위한 최소 평균 제곱 오차(MMSE) 추정기를 유도한다.
• 비정규 분포의 가중치 분포가 존재할 경우 MMSE 추정기에서 발생하는 편향을 보정하기 위한 보정 메커니즘을 도입한다.
• 정확한 성능 분석을 위해 이차 활성화 함수와 얕은 피드포워드 네트워크를 분석적 테스트 베드로 사용하여, ML 추정법 대비 디노이저의 우월성을 철저히 입증한다.
• 노이즈 있는 추론 및 훈련 조건에서 현대적 아키텍처인 ResNet18과 ResNet34에 디노이저를 적용한다.
• 다양한 노이즈 전력 비율(WNR) 조건에서 분석적 유도와 수치적 검증을 통해 디노이징 파라미터(예: 정규화 강도)를 최적화한다.

실험 결과

연구 질문

• RQ1 베이지안 디노이징 접근법이 노이즈 있는 관측치로부터 DNN 가중치를 복원하는 데 있어 최대우도 추정법을 능가할 수 있는가?
• RQ2 노이즈 있는 신경망 환경에서 제안된 디노이저는 ML 추정법 대비 추론 정확도를 얼마나 향상시키는가?
• RQ3 알려진 가중치 분포를 가진 소규모 문제에서 베이지안 디노이저의 이론적 성능 향상은 어느 정도인가?
• RQ4 진정한 가중치 분포가 정규 분포가 아닐 경우 보정 메커니즘이 디노이징 성능을 어떻게 향상시키는가?
• RQ5 실제 DNN인 ResNet18과 ResNet34가 노이즈 있는 전송 또는 훈련 조건에서 테스트 정확도와 신호대노이즈비(WNR) 측면에서 기대할 수 있는 성능 향상은 얼마인가?

주요 결과

• 노이즈 있는 추론 조건에서 노이즈 있는 ResNet34 모델을 디노이징할 경우, 제안된 베이지안 디노이저는 최대우도 추정법 대비 최대 4.1 dB의 WNR 향상을 기록한다.
• 노이즈 있는 훈련 조건에서 노이즈 있는 ResNet18 모델을 대상으로 하였을 때, 60% 테스트 정확도에서 최대우도 추정법 대비 13.4 dB의 성능 향상을 기록하였고, 80% 테스트 정확도에서는 8.3 dB의 향상을 기록하였다.
• 이론적 분석을 통해 최적의 디노이징 파라미터 θ*는 √(σ_w² / (σ_w² + 2σ_z²))로 유도되며, 이는 MMSE 기준 하에서 기대 오차를 최소화한다.
• 디노이저는 단순히 우도 최대화를 넘어서 추론 정확도를 명시적으로 최적화하기 때문에 뚜렷한 성능 향상을 달성한다.
• 보정 메커니즘은 특히 비정규 또는 꼬리가 두꺼운 분포를 가진 가중치에서 발생하는 MMSE 추정기의 편향을 효과적으로 줄인다.
• ML 추정법이 고분산과 고편향을 겪는 저-중간 수준의 신호대노이즈비에서 디노이저의 성능 향상이 가장 두드러진다.