[논문 리뷰] EDEN: Enabling Energy-Efficient, High-Performance Deep Neural Network Inference Using Approximate DRAM

Skanda Koppula, Lois Orosa외 5명|arXiv (Cornell University)|2019. 10. 11.

Ferroelectric and Negative Capacitance Devices인용 수 5

한 줄 요약

EDEN은 전압과 지연 시간을 낮춘 근사 DRAM을 사용함으로써 에너지 효율적이고 고성능의 딥 뉴럴 네트워크(DNN) 추론을 가능하게 하는 프레임워크입니다. 이는 사용자가 지정한 DNN 정확도를 유지하면서도, 에너지 효율성을 확보합니다. DNN 재학습을 통한 오류 내성 확보와 데이터 유형을 DRAM 파artitions에 지능적으로 매핑하는 방식을 결합하여, CPU, GPU, 가속기 등에서 최대 37%의 DRAM 에너지 절감과 17%의 지연 시간 감소를 달성합니다.

ABSTRACT

The effectiveness of deep neural networks (DNN) in vision, speech, and language processing has prompted a tremendous demand for energy-efficient high-performance DNN inference systems. Due to the increasing memory intensity of most DNN workloads, main memory can dominate the system's energy consumption and stall time. One effective way to reduce the energy consumption and increase the performance of DNN inference systems is by using approximate memory, which operates with reduced supply voltage and reduced access latency parameters that violate standard specifications. Using approximate memory reduces reliability, leading to higher bit error rates. Fortunately, neural networks have an intrinsic capacity to tolerate increased bit errors. This can enable energy-efficient and high-performance neural network inference using approximate DRAM devices. Based on this observation, we propose EDEN, a general framework that reduces DNN energy consumption and DNN evaluation latency by using approximate DRAM devices, while strictly meeting a user-specified target DNN accuracy. EDEN relies on two key ideas: 1) retraining the DNN for a target approximate DRAM device to increase the DNN's error tolerance, and 2) efficient mapping of the error tolerance of each individual DNN data type to a corresponding approximate DRAM partition in a way that meets the user-specified DNN accuracy requirements. We evaluate EDEN on multi-core CPUs, GPUs, and DNN accelerators with error models obtained from real approximate DRAM devices. For a target accuracy within 1% of the original DNN, our results show that EDEN enables 1) an average DRAM energy reduction of 21%, 37%, 31%, and 32% in CPU, GPU, and two DNN accelerator architectures, respectively, across a variety of DNNs, and 2) an average (maximum) speedup of 8% (17%) and 2.7% (5.5%) in CPU and GPU architectures, respectively, when evaluating latency-bound DNNs.

연구 동기 및 목표

• 메모리 집약적인 워크로드로 인해 발생하는 DNN 추론의 증가하는 에너지 및 지연 병목 현상을 해결합니다.
• 고성능 DNN 시스템에서 일반적인 DRAM의 한계를 극복하기 위해 전압과 액세스 지연 시간을 낮춘 근사 메모리 기술을 활용합니다.
• 사용자가 정의한 정확도 목표를 훼손하지 않으면서도 실세계 DNN 가속기에서 근사 DRAM을 실용적으로 구현할 수 있도록 합니다.
• 각 데이터 유형의 오류 내성에 기반해 DNN 데이터 유형을 DRAM 파artitions에 매핑하는 일반화 가능한 프레임워크를 개발합니다.
• CPU, GPU, 전용 DNN 가속기 등 다양한 하드웨어 플랫폼에서 신뢰성과 성능 향상을 보장합니다.

제안 방법

• 다양한 근사 DRAM 파rameter(전압 및 지연 시간) 하에서 DNN의 오류 내성 특성을 분석하기 위해 반복적 프로파일링을 수행합니다.
• 재학습 과정에서 점진적으로 비트 오류율을 증가시키는 새로운 커리큘럼 재학습 기법을 적용하여 DNN의 고오류율에 대한 내성을 향상시킵니다.
• 측정된 오류 내성에 기반해 DNN 데이터 유형(예: 가중치, 활성화)을 특정 근사 DRAM 파artitions에 매핑합니다.
• 사용자가 지정한 정확도 목표를 충족시키면서 에너지 소비와 지연 시간을 최소화할 수 있도록 데이터 유형의 근사 DRAM 영역에 대한 매핑을 최적화합니다.
• 실제 하드웨어와 관련성이 높은 Voltron과 Flexible-Latency DRAM의 실제 DRAM 오류 모델을 활용하여 실용성을 확보합니다.
• 시뮬레이션과 실제 하드웨어 평가를 통해 CPU, GPU, Eyeriss, TPU 등 다양한 아키텍처에 프레임워크를 통합합니다.

실험 결과

연구 질문

• RQ1 전압과 지연 시간을 낮춘 근사 DRAM을 사용하여 DNN 추론 시 DRAM 에너지 소비를 효과적으로 줄일 수 있을까요? 이 과정에서 정확도가 손상되지 않을까요?
• RQ2 근사 DRAM이 유도하는 고비트 오류율을 견딜 수 있도록 DNN를 어떻게 재학습시킬 수 있을까요? 이때 목표 정확도를 유지할 수 있을까요?
• RQ3 각 DNN 데이터 유형의 오류 내성에 기반해 근사 DRAM 파artitions에 최적의 매핑 전략은 무엇일까요?
• RQ4 EDEN은 CPU, GPU, DNN 가속기 등 다양한 하드웨어 플랫폼에서 얼마나 많은 에너지 절감과 지연 시간 감소를 달성할 수 있을까요?
• RQ5 EDEN은 최신 상태의 DNN 모델과 다양한 정확도 제약 조건에 대해 어떻게 확장 가능한가요?

주요 결과

• EDEN은 여러 최신 DNN 모델을 대상으로 CPU에서 평균 21%의 DRAM 에너지 절감, GPU에서 37%, Eyeriss에서 31%, TPU에서 32%의 에너지 절감을 달성합니다.
• 지연 시간에 제약을 받는 DNN에 대해서는 CPU에서 평균 8%의 속도 향상(최대 17%), GPU에서 2.7%의 속도 향상(최대 5.5%)을 기록합니다.
• 커리큘럼 재학습 기법은 DNN의 오류 내성을 한 계단 올리며, 고비트 오류율 조건에서도 안정적인 운영을 가능하게 합니다.
• 근사 DRAM을 사용할 경우 전압과 지연 시간을 낮춘 조건에서도 EDEN은 원본 모델과 정확도 차이를 1% 이내로 유지합니다.
• 프레임워크는 다양한 메모리 기술과 하드웨어 플랫폼 간에 잘 일반화되며, 에너지 효율성과 성능 향상에서 일관된 성과를 보입니다.
• 평가 결과, 재학습과 지능적인 데이터-파artition 매핑의 조합이 높은 에너지 절감과 성능 향상을 달성하는 데 필수적임을 확인했습니다.