[논문 리뷰] Exploiting the Tradeoff between Program Accuracy and Soft-error Resiliency Overhead for Machine Learning Workloads

Qingchuan Shi, Hamza Omar외 1명|arXiv (Cornell University)|2017. 07. 09.

Radiation Effects in Electronics참고 문헌 12인용 수 7

한 줄 요약

이 논문은 기계학습 코드를 정확도에만 영향을 주는 비결정적 영역(비결정적 영역)과 정확도에 영향을 주지 않는 결정적 영역(결정적 영역)으로 분류하는 크로스레이어 내성 아키텍처를 제안한다. 결정적 영역에는 강력한 하드웨어 복제 실행(HaRE)을 적용하고, 비결정적 영역에는 경량 소프트웨어-하드웨어 내성(SHR) 기법을 적용한다. 이는 HaRE 대비 평균 32% 향상된 성능을 달성하면서 소프트 에러 커버리지를 유지하고, 비내성 실행 대비 약 1.1배의 오버헤드만을 유발한다.

ABSTRACT

To protect multicores from soft-error perturbations, resiliency schemes have been developed with high coverage but high power and performance overheads. Emerging safety-critical machine learning applications are increasingly being deployed on these platforms. Moreover, these systems are exposed to harsh environments, such as unmanned aerial vehicles (UAVs) and self-driving cars. Due to the unique structure and computational behavior of such applications, research has been done on relaxing their accuracy for performance benefits. We observe that not all transient errors affect program correctness, some errors only affect program accuracy, i.e., the program completes with certain acceptable deviations from error free outcome. This paper illustrates the idea of cross-layer soft-error resilience using machine learning workloads, where program accuracy is introduced as a tradeoff to deliver resilient yet efficient execution on futuristic large-scale multicores.

연구 동기 및 목표

• 자율비행기(UAVs) 및 자율주행차와 같은 극한 환경에 배포된 안전 기반 기계학습 시스템에서 증가하는 소프트 에러 문제를 해결하기 위해.
• 다중코어 시스템에서 기존의 소프트 에러 내성 기법들이 유발하는 높은 성능 및 전력 오버헤드를 줄이기 위해.
• 소프트 에러 커버리지나 프로그램 정확도를 훼손하지 않으면서 정확도와 내성 오버헤드 사이의 트레이드오���을 탐색하기 위해.
• 프로그램 결과에 미치는 영향에 따라 코드 영역을 분류함으로써 기계학습 워크로드의 효율적이고 내성적인 실행을 가능하게 하기 위해.

제안 방법

• 프로그램 결과에 미치는 영향에 따라 코드 영역을 결정적 영역(정확도에 영향을 주는 영역)과 비결정적 영역(정확도에만 영향을 주는 영역)으로 분류한다.
• 소프트 에러 상황에서도 정확도를 보장하기 위해 결정적 영역에 하드웨어 복제 실행(HaRE)을 적용한다.
• 성능 오버헤드를 최소화하기 위해 비결정적 영역에 경량 소프트웨어-하드웨어 내성(SHR) 기법을 적용한다.
• 하드웨어와 소프트웨어를 조율하는 크로스레이어 아키텍처를 통해 각 코드 영역에 대해 동적으로 내성 전략을 선택한다.
• 환경적 에러 빈도와 허용 가능한 정확도 손실 임계값에 따라 내성 수준을 조정하는 설정 선택 메커니즘을 구현한다.
• 다양한 에러 빈도와 정확도 임계값에서 여러 기계학습 벤치마크(CNN-ALEXNET, MLP-MNIST 등)를 대상으로 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 기계학습 워크로드의 비결정적 영역은 소프트 에러 상황에서 프로그램 정확도를 훼손하지 않으면서 경량 내성 기법으로 보호될 수 있는가?
• RQ2 결정적 영역에만 강력한 내성 기법을 적용함으로써 성능 오버헤드를 얼마나 줄일 수 있는가?
• RQ3 다양한 기계학습 벤치마크와 에러 빈도에서 정확도 손실과 성능 향상 간의 트레이드오프는 어떻게 변화하는가?
• RQ4 주어진 정확도 임계값과 환경적 에러 조건 하에서 최적의 성능 향상을 이끌어내는 코드 영역 설정은 어떤가?

주요 결과

• 제안된 크로스레이어 내성(CL) 아키텍처는 HaRE 대비 비내성 실행 대비 평균적으로 약 1.1배의 성능 오버헤드로 감소시켰다.
• CL은 평가된 기계학습 벤치마크에서 HaRE 대비 평균 32%의 성능 향상을 달성했다.
• 0.1%의 에러 빈도와 10%의 정확도 임계값 조건에서, CNN-ALEXNET은 실행 시간의 91%를 비결정적 영역으로 분류함으로써 37%의 성능 향상을 기록했다.
• 에러 빈도가 0.5%로 증가함에 따라, 더 많은 코드 영역이 정확도 유지 목적으로 결정적 영역으로 분류되어 성능 향상률은 26%로 감소했다.
• 출력 레이어를 비결정적 영역으로 정의할 경우, 0.1%의 에러 빈도에서 모든 벤치마크에서 10% 이상의 정확도 손실이 발생함을 확인하여, 이 영역의 민감도를 입증했다.
• 전략적 내성 영역 분할을 통해 소프트 에러 커버리지를 유지하면서도 프로그램 정확도를 보장하는 동시에 뚜렷한 성능 향상을 이룰 수 있었다.