[논문 리뷰] Noisy Machines: Understanding Noisy Neural Networks and Enhancing Robustness to Analog Hardware Errors Using Distillation

Chuteng Zhou, Prad Kadambi외 2명|arXiv (Cornell University)|2020. 01. 14.

Neural Networks and Reservoir Computing참고 문헌 38인용 수 26

한 줄 요약

이 논문은 지식 병합과 노이즈 주입을 통해 딥 네ural 네트워크를 훈련시켜 애널로그 하드웨어 노이즈에 대한 강건성을 향상시키는 방법을 제안한다. 이로 인해 이전 방법 대비 거의 두 배에 가까운 노이즈 내성 확보가 가능해졌으며, ImageNet과 다양한 아키텍처에서 이를 입증하였다. 이는 에너지 효율적인 애널로그 가속기에서 실용적인 구현을 가능하게 한다.

ABSTRACT

The success of deep learning has brought forth a wave of interest in computer hardware design to better meet the high demands of neural network inference. In particular, analog computing hardware has been heavily motivated specifically for accelerating neural networks, based on either electronic, optical or photonic devices, which may well achieve lower power consumption than conventional digital electronics. However, these proposed analog accelerators suffer from the intrinsic noise generated by their physical components, which makes it challenging to achieve high accuracy on deep neural networks. Hence, for successful deployment on analog accelerators, it is essential to be able to train deep neural networks to be robust to random continuous noise in the network weights, which is a somewhat new challenge in machine learning. In this paper, we advance the understanding of noisy neural networks. We outline how a noisy neural network has reduced learning capacity as a result of loss of mutual information between its input and output. To combat this, we propose using knowledge distillation combined with noise injection during training to achieve more noise robust networks, which is demonstrated experimentally across different networks and datasets, including ImageNet. Our method achieves models with as much as two times greater noise tolerance compared with the previous best attempts, which is a significant step towards making analog hardware practical for deep learning.

연구 동기 및 목표

• 애널로그 신경망 가속기에서 내재된 하드웨어 노이즈로 인한 추론 정확도 저하 문제 해결.
• 입력과 출력 간 상호정보량 감소로 인해 노이즈가 모델 용량을 어떻게 떨어뜨리는지 이해하기.
• 모델 아키텍처나 추론 하드웨어를 변경하지 않고도 강건성을 향상시키는 훈련 방법 개발.
• ImageNet 포함 다양한 모델과 데이터셋에서 최신 기준의 노이즈 내성 확보.
• 소프트웨어 수준의 강건성으로 하드웨어 정밀도 요구사항을 완화하여 애널로그 가속기의 실용적 구현 가능하게 하기.

제안 방법

• 강건성을 전달하기 위해 사전 훈련된 티처 모델에서 지식 병합을 통해 학생 신경망을 훈련.
• 훈련 중 순방향 전파 동안 가우시안 노이즈를 네트워크 가중치에 주입하여 애널로그 하드웨어 결함을 시뮬레이션.
• 훈련 안정성 향상과 가중치 변동에 대한 민감도 감소를 위해 소프트 레이블 교차 엔트로피 손실에 온도 스케일링 파rameter $ T $ 를 사용.
• 온도 $ T=6 $ 와 노이즈 주입 수준 $ \eta $ 를 사용하여 연속적이고 무작위적인 가중치 노이즈에 강건한 모델을 훈련.
• 기본 백프로파게이션을 사용하여 노이즈 주입 가중치를 적용한 학생 모델을 최적화하면서 티처의 출력 분포 유지.
• 다양한 추론 런에 걸쳐 증가하는 노이즈 수준 $ \eta \in \{0, 0.02, 0.04, 0.06\} 에서의 강건성 평가.

실험 결과

연구 질문

• RQ1 애널로그 하드웨어의 노이즈가 딥 네럴 네트워크의 학습 능력과 추론 정확도에 어떻게 영향을 미치는가?
• RQ2 지식 병합이 신경망의 연속적 가중치 노이즈에 대해 얼마나 강건성을 향상시킬 수 있는가?
• RQ3 훈련 중 노이즈 주입이 실제 애널로그 하드웨어 노이즈를 효과적으로 시뮬레이션하고 준비시키는 데에 얼마나 효과적인가?
• RQ4 지식 병합과 노이즈 주입의 조합이 기준 훈련 대비 노이즈 내성에서 어떻게 비교되는가?
• RQ5 ImageNet과 같은 표준 벤치마크에서 제안된 방법으로 달성 가능한 최대 노이즈 내성은 얼마인가?

주요 결과

• 제안된 방법은 이전 최고 성능 방법 대비 약 2배 높은 노이즈 내성 확보를 달성하여 강건성 크게 향상.
• ImageNet과 함께 ResNet-50에서, 지식 병합과 노이즈 주입 방법은 $ \eta = 0.06 $ 에서도 67.525%의 Top-1 정확도 유지. 반면 비정규화 훈련은 46.284%에 그침.
• $ \eta = 0.04 $ 에서는 71.442%의 Top-1 정확도 확보. 기준선인 64.382%를 초월.
• 노이즈 수준이 높을수록 지식 병합과 노이즈 주입의 정확도 향상 효과가 커지며, 스트레스 조건에서 더 강한 정규화 효과를 보임.
• 여러 개별 훈련 및 추론 런에 걸쳐 일관된 강건성 향상 기록. 표준편차가 낮음 (예: $ \eta = 0.06 $ 에서 ±0.162%).
• 아키텍처 변경 없이도 높은 노이즈 내성 확보 가능. 이는 애널로그 가속기의 하드웨어 사양 완화 가능함을 시사.