[논문 리뷰] Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization

Li-Huang Tsai, Shih-Chieh Chang외 4명|arXiv (Cornell University)|2020. 07. 07.

Advanced Memory and Neural Computing참고 문헌 27인용 수 10

한 줄 요약

이 논문은 프로세싱-인-메모리(PIM) 가속기에서 발생하는 내재된 노이즈로 인해 신경망 활성화의 분포가 이격되는 문제를 보완하기 위해 배치 정규화 통계를 보정하는 노이즈 무관 기반의 노이즈 인식 배치 정규화(Noisе-Aware Batch Normalization, NaBN)를 제안한다. 재학습 없이 추론 도중에 실행 평균 및 분산 추정치를 동적으로 조정함으로써, 이미지 분류, 객체 검출, 세그멘테이션 작업 전반에서 다양한 노이즈 설정에서도 강건한 성능을 달성한다.

ABSTRACT

Analog computing hardwares, such as Processing-in-memory (PIM) accelerators, have gradually received more attention for accelerating the neural network computations. However, PIM accelerators often suffer from intrinsic noise in the physical components, making it challenging for neural network models to achieve the same performance as on the digital hardware. Previous works in mitigating intrinsic noise assumed the knowledge of the noise model, and retraining the neural networks accordingly was required. In this paper, we propose a noise-agnostic method to achieve robust neural network performance against any noise setting. Our key observation is that the degradation of performance is due to the distribution shifts in network activations, which are caused by the noise. To properly track the shifts and calibrate the biased distributions, we propose a "noise-aware" batch normalization layer, which is able to align the distributions of the activations under variational noise inherent in the analog environments. Our method is simple, easy to implement, general to various noise settings, and does not need to retrain the models. We conduct experiments on several tasks in computer vision, including classification, object detection and semantic segmentation. The results demonstrate the effectiveness of our method, achieving robust performance under a wide range of noise settings, more reliable than existing methods. We believe that our simple yet general method can facilitate the adoption of analog computing devices for neural networks.

연구 동기 및 목표

• 내재된 장치 노이즈로 인해 아날로그 프로세싱-인-메모리(PIM) 하드웨어에서 깊은 신경망의 성능 저하 문제를 해결한다.
• 이전의 노이즈 완화 방법들이 노이즈 특성에 대한 사전 지식이나 각 노이즈 프로파일에 맞는 재학습이 필요로 하는 한계를 극복한다.
• 추가 학습 없이 다양한 노이즈 조건에서도 모델 정확도를 유지할 수 있는 일반적이고 저비용의 솔루션을 개발한다.
• 노이즈 있는 아날로그 계산 환경에서 활성화 분포를 안정화시켜 신경망의 PIM 가속기 상용화를 가능하게 한다.

제안 방법

• 아날로그 노이즈로 인한 분포 이격을 보정하기 위해 배치 정규화 레이어의 실행 평균 및 분산 통계에 노이즈 인식 보정을 적용한다.
• 모델 미세조정이 필요 없이 관측된 노이즈 특성에 기반해 배치 통계를 추론 시 동적으로 보정하는 기법을 도입한다.
• 배치 정규화의 본질적 정규화 능력을 유지하면서도, 노이즈 인식 추정을 통한 향상으로 정확한 활성화 분포를 유지한다.
• 아키텍처 변경 없이도 표준 딥러닝 모델(ResNet, YOLO-v3, FCN-ResNet101)에 적용 가능하며, 재학습이 필요 없다.
• 클로즈-리프만 및 젠슨-쇼너 분산을 사용하여 청소된 활성화와 노이즈가 있는 활성화 간의 분포 이격 감소를 정량화하고 검증한다.
• 경량 레이어 수정 방식으로 구현되어 기존 모델 및 추론 파이프라인과 호환 가능하다.

실험 결과

연구 질문

• RQ1 PIM 하드웨어의 내재된 노이즈가 신경망 추론 성능에 악영향을 미치는 원인은 무엇인가?
• RQ2 사전 노이즈 지식이나 재학습 없이도 다양한 노이즈 수준에서 모델의 강건성을 유지할 수 있는 노이즈 무관 기반 방법을 개발할 수 있는가?
• RQ3 노이즈 있는 아날로그 계산 환경에서 배치 정규화 통계의 노이즈 인식 보정이 활성화 분포의 이격을 어느 정도 감소시킬 수 있는가?
• RQ4 기대하지 않은 노이즈 스케일에 대해 노이즈 주입 학습 대비 적응 가능성은 어떻게 비교되는가?
• RQ5 분류, 객체 검출, 세그멘테이션 등 다양한 컴퓨터 비전 작업에서 노이즈 있는 PIM 조건 하에서도 이 방법이 일반화 가능한가?

주요 결과

• 제안된 노이즈 인식 배치정규화(NaBN) 방법은 다양한 노이즈 스케일에서 표준 배치정규화 및 노이즈 주입 학습보다 유의미하게 뛰어난 강건성을 확보한다.
• 객체 검출 작업에서 COCO-2014 데이터셋을 사용한 YOLO-v3는 MUL 유형 노이즈(η₀=0.05) 조건에서 NaBN을 적용한 결과 49.8% mAP를 달성했으며, 베이스라인 대비 19.3%p 향상된 성능을 보였다.
• 세그멘테이션 작업에서 PASCAL VOC-2012 데이터셋을 사용한 FCN-ResNet101는 MUL 유형 노이즈(η₀=0.05) 조건에서 NaBN 적용 시 80.6% mIoU를 기록했고, 베이스라인 대비 9.8%p 향상된 성능을 보였다.
• 다양한 노이즈 유형(MUL 및 ADD)과 스케일에서 높은 성능 유지를 유지하며, 노이즈 주입 학습은 노이즈 스케일이 학습 스케일에서 벗어나면 급격히 성능이 저하되는 것과 대비된다.
• 재학습 없이 추론 시 동적 보정이 가능해 변화하거나 알려지지 않은 노이즈 환경에 적응 가능하다.
• 클로즈-리프만 및 젠슨-쇼너 분산으로 측정한 청소된 활성화와 노이즈가 있는 활성화 간의 분포 발산을 효과적으로 감소시켜, 이격된 분포를 보정할 수 있음을 확인했다.