[논문 리뷰] Robustness of Neural Networks against Storage Media Errors

Minghai Qin, Chao Sun외 1명|arXiv (Cornell University)|2017. 09. 18.

Advanced Neural Network Applications참고 문헌 14인용 수 26

한 줄 요약

이 논문은 오류 수정 코드(ECC)가 비활성화된 비揮성 메모리 저장 시스템에서 훈련된 딥 네ural 네트워크의 비트 오류에 대한 강건성을 조사한다. 오차 수정 코드가 비활성화된 상태에서 비트 오류에 대한 강건성을 크게 향상시키는 체크 비트 기반 가중치 제로화 기법을 제안하며, 비트 폭이 증가함에 따라 왜곡을 점차적으로 0으로 수렴시키는 해밍 거리 기반 이진 표현 방식을 도입하여, 표준 이진 표현 또는 IEEE 754 표현 방식보다 훨씬 뛰어난 성능을 발휘한다.

ABSTRACT

We study the trade-offs between storage/bandwidth and prediction accuracy of neural networks that are stored in noisy media. Conventionally, it is assumed that all parameters (e.g., weight and biases) of a trained neural network are stored as binary arrays and are error-free. This assumption is based upon the implementation of error correction codes (ECCs) that correct potential bit flips in storage media. However, ECCs add storage overhead and cause bandwidth reduction when loading the trained parameters during the inference. We study the robustness of deep neural networks when bit errors exist but ECCs are turned off for different neural network models and datasets. It is observed that more sophisticated models and datasets are more vulnerable to errors in their trained parameters. We propose a simple detection approach that can universally improve the robustness, which in some cases can be improved by orders of magnitude. We also propose an alternative binary representation of the parameters such that the distortion brought by bit flips is reduced and even theoretically vanishing when the number of bits to represent a parameter increases.

연구 동기 및 목표

• 오류 수정 코드(ECC)가 비활성화된 비휘성 메모리에서 딥 네럴 네트워크의 비트 오류에 대한 취약성을 분석한다.
• 더 복잡한 모델과 데이터셋일수록 파rameter의 비트 전환에 더 민감하다는 점을 규명한다.
• 모델과 데이터셋에 관계없이 강건성을 향상시키는 경량 체크 비트 메커니즘을 제안한다.
• 비트 전환에 의한 왜곡을 최소화하는 실수 수의 이진 표현 방식을 설계한다. 특히 비트 폭이 증가할수록 효과가 뚜렷하다.
• 이론적 및 실증적 방법을 통해 비트 폭이 매우 클 경우 왜곡을 0으로 줄일 수 있음을 검증한다.

제안 방법

• 체크 비트 기반 가중치 제로화 기법을 제안한다: 각 가중치는 패리티 비트와 쌍을 이루어 단일 비트 오류를 탐지하고 수정한다.
• 해밍 거리 기반 일대일 대응을 사용하여 이진 배열을 정수로 매핑하며, 해밍 무게가 낮은 값이 더 작은 정수로 매핑되도록 한다.
• 비트 전환 후 파라미터 표현에서의 최대 오차와 평균 오차를 정량화하기 위해 왜곡 지표 d_max,k(f) 및 d_ave,k(f)를 정의한다.
• 스티르링의 근사법을 적용하여 d_max,1(f) → 0 (q → ∞ 일 때)임을 증명함으로써 점점 줄어드는 왜곡을 이론적으로 입증한다.
• CIFAR-10 및 ImageNet 데이터셋을 사용하여 ResNet, VGG, DenseNet 모델을 대상으로 원시 비트 오류 비율(RBER) 하에서 강건성을 평가한다.
• 비트 전환 조건 하에서 표준 이진 전개, IEEE 754 부동소수점 표현, 그리고 제안된 해밍 기반 표현의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 오류 수정 코드(ECC)가 비활성화된 비휘성 메모리에서 딥 네럴 네트워크의 강건성은 비트 오류에 의해 얼마나 떨어지는가?
• RQ2 일반화 가능한 경량 체크 비트 메커니즘이 다양한 신경망 아키텍처와 데이터셋에서 강건성을 향상시킬 수 있는가?
• RQ3 해밍 거리 기반 이진 표현 방식은 표준 표현 방식에 비해 비트 전환에 의한 왜곡을 줄일 수 있는가?
• RQ4 파라미터당 비트 수가 증가함에 따라 왜곡 감소의 이론적 한계는 무엇인가?
• RQ5 실제 비트 오류 비율 조건 하에서 제안된 이진 표현 방식은 정확도 손실를 얼마나 줄일 수 있는가?

주요 결과

• 체크 비트 기반 가중치 제로화 기법은 일부 경우에서 강건성을 수 개의 주기만큼 향상시키며, 비트 전환 조건 하에서도 정확도를 크게 향상시킨다.
• VGG와 같은 단순한 아키텍처에 비해 ResNet 및 DenseNet과 같은 더 복잡한 모델은 파라미터 비트 전환에 더 취약하다.
• 해밍 거리 기반 이진 표현 방식은 큰 비트 폭의 극한(q → ∞)에서 왜곡을 0으로 줄일 수 있으며, 이는 이진 전개나 IEEE 754 방식과 달리 항상 일정한 최소 왜곡을 유지하는 것과 대비된다.
• CIFAR-10에서의 실증 결과는 q=16일 때 해밍 기반 표현 방식이 측정 가능한 그러나 제한된 향상만을 보이며, 전체적인 이점을 얻기 위해서는 더 큰 비트 폭이 필요하다는 것을 시사한다.
• 이론적 분석을 통해 d_max,1(f) → 0 (q → ∞ 일 때)임을 확인하였으며, 수렴 속도는 O(1/√q)로 나타나 왜곡은 천천히지만 점차적으로 감소함을 입증한다.