[논문 리뷰] Ranger: Boosting Error Resilience of Deep Neural Networks through Range Restriction.

Zitao Chen, Guanpeng Li외 1명|arXiv (Cornell University)|2020. 03. 30.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 14

한 줄 요약

Ranger는 깊이 신경망(DNN)의 임시 하드웨어 결함에 대한 내성을 향상시키기 위해 핵심 레이어에서 활성화 범위를 자동으로 제한하는 새로운 이식 가능한 기법이다. 소프트 에러로 인한 큰 변동을 억제함으로써 Ranger는 DNN가 내재된 내성으로 결함을 견딜 수 있도록 하여, 정확도 손실 없이 최소한의 오버헤드로 8개의 DNN(자율주행차 모델 포함)에서 뛰어난 오류 내성 확보를 달성한다.

ABSTRACT

With the emerging adoption of deep neural networks (DNNs) in the HPC domain, the reliability of DNNs is also growing in importance. As prior studies demonstrate the vulnerability of DNNs to hardware transient faults (i.e., soft errors), there is a compelling need for an efficient technique to protect DNNs from soft errors. While the inherent resilience of DNNs can tolerate some transient faults (which would not affect the system's output), prior work has found there are critical faults that cause safety violations (e.g., misclassification). In this work, we exploit the inherent resilience of DNNs to protect the DNNs from critical faults. In particular, we propose Ranger, an automated technique to selectively restrict the ranges of values in particular DNN layers, which can dampen the large deviations typically caused by critical faults to smaller ones. Such reduced deviations can usually be tolerated by the inherent resilience of DNNs. Ranger can be integrated into existing DNNs without retraining, and with minimal effort. Our evaluation on 8 DNNs (including two used in self-driving car applications) demonstrates that Ranger can achieve significant resilience boosting without degrading the accuracy of the model, and incurring negligible overheads.

연구 동기 및 목표

• 고성능 계산(HPC) 및 안전 중심 시스템에 구현된 깊이 신경망(DNN)에서 증가하는 하드웨어 임시 결함 문제를 다루기 위해.
• DNN가 경미한 오류에 대해 내재된 내성을 지니고 있음에도 불구하고 잘못 분류를 유발하는 핵심 결함을 식별하고 완화하기 위해.
• 재학습 없이도 성능 오버헤드가 최소한이 되는 경량이고 비침습적인 기법을 개발하여 결함 내성을 향상시키기 위해.
• 자동 범위 제한을 통해 소프트 에러에 강건한 DNN를 개발하여, 결함이 발생하기 쉬운 환경에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• Ranger는 임시 결함으로 인한 큰 변동에 가장 취약한 핵심 DNN 레이어를 자동으로 식별한다.
• 이 레이어에서 활성화의 동적 범위를 제한함으로써 결함으로 인한 변동의 영향을 줄인다.
• 각 레이어의 활성화 분포를 통계적으로 분석하여 안전한 상한선과 하한선을 결정한다.
• 범위 제한은 추론 시점에 적용되며, 원본 DNN의 재학습이나 아키텍처 변경이 필요하지 않다.
• 이 기법은 투명하고 조합 가능하도록 설계되어 기존 DNN 파이프라인에 최소한의 엔지니어링 노력으로 통합할 수 있다.
• DNN의 내재된 내성을 활용하여 결함으로 인한 변동이 수용 가능한 범위 내에 유지되도록 한다.

실험 결과

연구 질문

• RQ1 특정 DNN 레이어에서의 범위 제한이 모델 출력에 대한 임시 하드웨어 결함의 영향을 효과적으로 줄일 수 있는가?
• RQ2 재학습이나 아키텍처 수정 없이도 결함이 발생하기 쉬운 레이어를 자동으로 식별할 수 있는가?
• RQ3 범위 제한을 통해 얼마나 높은 수준의 결함 내성을 향상시킬 수 있으며, 정확도와 효율성은 유지되는가?
• RQ4 다양한 DNN 아키텍처에서 범위 제한을 적용할 경우 지연 시간과 자원 사용 측면에서 오버헤드는 어느 정도인가?
• RQ5 Ranger는 자율주행차에서 사용되는 안전 중심 DNN에 효과적으로 적용될 수 있는가?

주요 결과

• Ranger는 정확도 저하 없이 8개의 다양한 DNN(자율주행차 응용 프로그램에 사용되는 두 개 포함)에서 오류 내성을 성공적으로 향상시켰다.
• 기법은 정확도 손실 없이 극히 미미한 성능 오버헤드를 유발하여 실시간 및 HPC 환경에서 실용적이다.
• 활성화 범위 제한을 통해 결함으로 인한 변동의 크기를 줄여 DNN의 내재된 내성이 이를 흡수할 수 있도록 한다.
• 이 방법은 다양한 네트워크 아키텍처에서 효과적이며, 재학습이나 아키텍처 변경이 필요하지 않다.
• Ranger는 일반적으로 잘못 분류로 이어지는 핵심 결함에 대해 강력한 내성을 보이며, 시스템 신뢰도를 크게 향상시킨다.
• 자동 레이어 선택 프로세스는 오직 가장 취약한 레이어만 수정함으로써 효율성을 유지하고 간섭을 최소화한다.