[논문 리뷰] A Low-cost Fault Corrector for Deep Neural Networks through Range Restriction

Zitao Chen, Guanpeng Li외 1명|arXiv (Cornell University)|2020. 03. 30.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

Ranger는 깊이 신경망(DNN)의 임시 하드웨어 결함으로 인한 큰 편차를 억제하기 위해 특정 레이어의 값 범위를 제한함으로써 저비용이고 자동화된 결함 수정기이다. 임계 결함을 양성 결함으로 전환함으로써 Ranger는 재계산 없이도 오류를 견딜 수 있도록 DNN을 가능하게 하며, 정상 데이터 손상(SDC) 비율을 최대 50배까지 감소시킨다. 이는 정확도나 성능 오버헤드가 거의 없는 수준이다.

ABSTRACT

The adoption of deep neural networks (DNNs) in safety-critical domains has engendered serious reliability concerns. A prominent example is hardware transient faults that are growing in frequency due to the progressive technology scaling, and can lead to failures in DNNs. This work proposes Ranger, a low-cost fault corrector, which directly rectifies the faulty output due to transient faults without re-computation. DNNs are inherently resilient to benign faults (which will not cause output corruption), but not to critical faults (which can result in erroneous output). Ranger is an automated transformation to selectively restrict the value ranges in DNNs, which reduces the large deviations caused by critical faults and transforms them to benign faults that can be tolerated by the inherent resilience of the DNNs. Our evaluation on 8 DNNs demonstrates Ranger significantly increases the error resilience of the DNNs (by 3x to 50x), with no loss in accuracy, and with negligible overheads.

연구 동기 및 목표

• 자율주행차와 같은 안전 중심 DNN 응용 분야에서 증가하는 하드웨어 일시적 결함의 위험을 해결하기 위해.
• 기존의 결함 보호 기법이 높은 오버헤드, 제한된 결함 커버리지 또는 재계산을 요구하는 등의 한계를 극복하기 위해.
• 재실행 없이 직접적으로 오류가 발생한 DNN 출력을 수정할 수 있는 저비용이고 자동화된 솔루션을 개발하기 위해.
• DNN의 값의 범위를 제한하여 결함으로 인한 편차를 완화함으로써, DNN가 내재된 정확도에 대한 내성(내성)을 활용하기 위해.
• 주류 머신러닝 프레임워크인 텐서플로우와 호환되는 실용적이고 구현 가능한 기법을 제공하기 위해.

제안 방법

• Ranger는 특정 DNN 레이어에 자동 범위 제한을 적용하여 일시적 결함으로 인한 값 편차의 크기를 제한한다.
• 기존에 정상 데이터 손상(SDC)을 유발할 수 있는 임계 결함을 식별하고, 값 클램핑을 통해 양성 결함으로 전환한다.
• 레이어 출력의 통계적 분석을 통해 정확도를 유지하면서도 결함 내성 능력을 향상시키는 안전한 범위 경계를 결정한다.
• TensorFlow 프레임워크를 대상으로 컴파일러 유사 전환 기법으로 구현되어 수동 코드 수정이 필요 없다.
• 추론 시간에 작동하여 전체 네트워크를 재계산하지 않고도 실시간으로 오류 출력을 수정한다.
• 8개의 DNN(이미지 분류기와 자율주행 조향 모델 포함)에 대해 결함 주입을 통한 평가를 수행한다.

실험 결과

연구 질문

• RQ1 DNN 레이어에서의 값 범위 제한이 일시적 하드웨어 결함으로 인한 큰 편차를 효과적으로 억제할 수 있는가?
• RQ2 이 방법이 임계 결함을 DNN가 내재적으로 견딜 수 있는 양성 결함으로 전환할 수 있는가?
• RQ3 Ranger는 정확도 저하 없이 정상 데이터 손상(SDC) 비율을 어느 정도 감소시킬 수 있는가?
• RQ4 기존의 결함 보호 기법과 비교할 때 SDC 커버리지와 성능 오버헤드 측면에서 Ranger는 어떤가?
• RQ5 Ranger는 자율주행차와 같은 실제 DNN 응용 분야에 최소한의 노력으로 구현 가능한가?

주요 결과

• Ranger는 DNN 분류기의 SDC 비율을 14.92%에서 0.44%로 감소시켜 33배의 향상 효과를 보였다.
• 자율주행 차량 조향 모델의 경우 SDC 비율이 23.76%에서 2.49%로 감소하여 9배의 감소 효과를 보였다.
• 오버헤드가 0.53%에 불과함에도 불구하고 97% 이상의 SDC 커버리지 성능을 달성하여 기존 방법을 초월했다.
• 평가된 8개의 DNN 모델 전반에서 정확도 손실이 관찰되지 않았으며, 안전 중심의 자율주행 모델을 포함하여 모두 동일하게 성능 유지되었다.
• 메모리 및 계산 오버헤드가 극히 미미하여 실시간 시스템에 적합하다.
• Ranger는 다양한 DNN 아키텍처에 효과적이며, 널리 사용되는 텐서플로우 프레임워크와 호환된다.