[논문 리뷰] ThUnderVolt: Enabling Aggressive Voltage Underscaling and Timing Error Resilience for Energy Efficient Deep Neural Network Accelerators

Jeff Zhang, Kartheek Rangineni외 2명|arXiv (Cornell University)|2018. 02. 11.

Advanced Memory and Neural Computing참고 문헌 33인용 수 15

한 줄 요약

ThUndervolt는 새로운 시간 오차 복구 기술인 TE-Drop를 통해 DNN 가속기에서 공격적인 전압 언더스케일링을 가능하게 하며, 오류가 발생한 MAC 연산을 다음 사이클에서 재계산하여 성능 저하를 방지한다. 이는 <1% 정확도 손실로 34.36%-57.75%의 에너지 절감을 달성하며, Zero-Skip와 같은 런타임 프루닝과 상호보완적으로 작용하여 기준 TPU 설계 대비 최대 89.49%의 에너지 감소를 실현한다.

ABSTRACT

Hardware accelerators are being increasingly deployed to boost the performance and energy efficiency of deep neural network (DNN) inference. In this paper we propose Thundervolt, a new framework that enables aggressive voltage underscaling of high-performance DNN accelerators without compromising classification accuracy even in the presence of high timing error rates. Using post-synthesis timing simulations of a DNN accelerator modeled on the Google TPU, we show that Thundervolt enables between 34%-57% energy savings on state-of-the-art speech and image recognition benchmarks with less than 1% loss in classification accuracy and no performance loss. Further, we show that Thundervolt is synergistic with and can further increase the energy efficiency of commonly used run-time DNN pruning techniques like Zero-Skip.

연구 동기 및 목표

• 전압 언더스케일링를 적용할 때 대규모 병렬 DNN 가속기에서 높은 전역 시간 오차 비율을 해결하는 것.
• 대규모 시스톨릭 어레이에서 전통적인 시간 오차 검출 및 복구(TED) 기법의 성능 오버헤드를 극복하는 것.
• 분류 정확도나 성능을 희생시키지 않고 공격적인 전압 언더스케일링을 허용하는 메커니즘 개발.
• 각 DNN 레이어의 시간 오차 비율에 따라 동적으로 전압을 조정함으로써 시간 오차 비율을 DNN 레이어 간 균형 잡히게 하는 것.
• 전압 언더스케일링과 Zero-Skip와 같은 기존 런타임 프루닝 기법 간의 상호보완성을 입증하여 에너지 효율을 추가로 향상시키는 것.

제안 방법

• 오류를 Razor 플립플롭을 통해 감지하지만 재실행을 방지하고 다음 사이클에서 오류가 발생한 MAC 연산을 재계산함으로써 성능 저하를 제거하는 새로운 시간 오차 복구 기법인 TE-Drop을 제안한다.
• 각 DNN 레이어의 개별 시간 오차 비율에 따라 공급 전압을 조정하는 동적 레이어별 전압 언더스케일링을 구현하여 정확도와 에너지 효율성 최적화.
• 실제 공정 변동성과 시간 컨디션 조건을 반영한 Google TPU 유사 시스톨릭 어레이 아키텍처에서 후기설계 시뮬레이션을 수행하여 프레임워크 평가.
• 입력값이 0인 MAC 연산을 건너뛰는 런타임 프루닝 기법인 Zero-Skip와 통합하여 비영점 연산에 대한 추가 에너지 절감을 달성.
• 50개 칩 샘플에 대해 5% 공정 변동성을 고려한 통계 분석 및 몬테카를로 시뮬레이션을 수행하여 에너지 절감의 강건성과 일관성을 검증.

실험 결과

연구 질문

• RQ1 높은 성능 DNN 가속기에서 의미 있는 정확도 또는 성능 저하 없이 공격적인 전압 언더스케일링를 안전하게 적용할 수 있는가?
• RQ2 수만 개의 MAC 유닛을 포함한 대규모 시스톨릭 어레이 가속기에서 성능 오버헤드 없이 시간 오차를 복구할 수 있는 방법은 무엇인가?
• RQ3 동적 레이어별 전압 스케일링이 전체 DNN 레이어에 걸쳐 오차 비율과 에너지 절감을 균형 잡는 데에 균일한 언더스케일링보다 뛰어난가?
• RQ4 ThUndervolt가 Zero-Skip와 같은 기존 런타임 프루닝 기법과 얼마나 잘 상호보완되어 에너지 소비를 추가로 줄일 수 있는가?
• RQ5 DNN 가속기에서 전압 언더스케일링과 오류 내성 기술을 조합했을 때, 정확도 손실이 극히 미미한 수준에서 달성 가능한 최대 에너지 절감은 얼마인가?

주요 결과

• ThUndervolt는 TPU 유사 아키텍처에서 후기설계 시뮬레이션을 통해 최신 이미지 및 음성 인식 벤치마크에서 34.36%에서 57.75%의 에너지 절감을 달성했다.
• TE-Drop 기법은 MAC 당 시간 오차 비율이 10%를 초과하는 환경에서도 정확도 저하 없이 안정적인 운영을 가능하게 하여 고오차 비율에 대한 강건성을 입증했다.
• 동적 레이어별 전압 스케일링 기법은 오차 비율을 레이어 간 균형 잡히게 하여 에너지 효율성을 향상시키며, 균일한 언더스케일링 대비 뚜렷한 성능 향상을 보였다.
• ThUndervolt는 Zero-Skip와 상호보완적이다: Zero-Skip 위에 ThUndervolt를 적용하면 기준 대비 73.27%에서 89.49%의 에너지 절감을 달성했으며, 성능 저하 없이 <1% 정확도 손실을 유지했다.
• 50개 칩 샘플에 대해 5% 공정 변동성 조건에서도 평균 에너지 절감률이 일관되게 유지되어 공정 변동성에 대한 강건성을 입증했다.
• 기존 TED나 TEP 기법으로는 어려운 고처리량·고병렬 DNN 가속기에서 특히, 공격적인 전압 언더스케일링를 가능하게 하며, 이는 기존 기술을 초월하는 성능을 제공한다.