[논문 리뷰] EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference

Thierry Tambe, Coleman Hooper외 9명|arXiv (Cornell University)|2020. 11. 28.

Topic Modeling참고 문헌 81인용 수 9

한 줄 요약

EdgeBERT는 엣지 디바이스에서 지연 시간 인식형, 에너지 효율적인 다중 작업 NLP 추론을 위한 하드웨어-알고리즘 공동 설계를 제안한다. 문장 수준의 조기 종료와 엔트로피 기반 예측을 사용하여 동적 전압 주파수 스케일링(DVFS)을 가능하게 하며, 적응형 어텐션 스파이크, 프루닝, 양자화, eNVM에 저장된 공유 임베딩을 결합하여 최대 53배의 에너지 절감을 달성했으며, GPU 추론 대비 7배의 에너지 절감을 이룩했고, 엄격한 지연 시간 목표를 충족시킨다.

ABSTRACT

Transformer-based language models such as BERT provide significant accuracy improvement for a multitude of natural language processing (NLP) tasks. However, their hefty computational and memory demands make them challenging to deploy to resource-constrained edge platforms with strict latency requirements. We present EdgeBERT, an in-depth algorithm-hardware co-design for latency-aware energy optimization for multi-task NLP. EdgeBERT employs entropy-based early exit predication in order to perform dynamic voltage-frequency scaling (DVFS), at a sentence granularity, for minimal energy consumption while adhering to a prescribed target latency. Computation and memory footprint overheads are further alleviated by employing a calibrated combination of adaptive attention span, selective network pruning, and floating-point quantization. Furthermore, in order to maximize the synergistic benefits of these algorithms in always-on and intermediate edge computing settings, we specialize a 12nm scalable hardware accelerator system, integrating a fast-switching low-dropout voltage regulator (LDO), an all-digital phase-locked loop (ADPLL), as well as, high-density embedded non-volatile memories (eNVMs) wherein the sparse floating-point bit encodings of the shared multi-task parameters are carefully stored. Altogether, latency-aware multi-task NLP inference acceleration on the EdgeBERT hardware system generates up to 7x, 2.5x, and 53x lower energy compared to the conventional inference without early stopping, the latency-unbounded early exit approach, and CUDA adaptations on an Nvidia Jetson Tegra X2 mobile GPU, respectively.

연구 동기 및 목표

• 자원 제약이 있는 엣지 플랫폼에 BERT를 구현할 때 발생하는 높은 에너지 소비와 지연 시간 비용을 해결한다.
• 실시간 응용 프로그램에서 기존의 조기 종료 메커니즘이 유도하는 지연 시간의 변동성을 극복한다.
• 알고리즘-하드웨어 공동 설계를 통해 엣지 NLP 추론의 에너지 소비를 최소화한다.
• 적응형 어텐션 스파이크, 프루닝, 8비트 양자화를 사용하여 메모리 및 계산 오버헤드를 줄인다.
• 공유 임베딩을 고밀도 eNVM에 저장하여 영구적이고 저전력 작동이 가능한 항상 켜진 엣지 디바이스를 구현한다.

제안 방법

• 에너지 소비와 계산량을 줄이기 위해 문장 수준에서 엔트로피 기반 예측을 사용해 추론을 조기에 종료할 수 있는 시점을 예측한다.
• 빠른 스위칭 LDO와 올디지털 PLL을 사용해 실시간으로 공급 전압과 클럭 주파수를 조절하는 동적 전압 주파수 스케일링(DVFS)을 통합한다.
• 피팅 훈련 중에 적응형 어텐션 스파이크를 적용해 희소 어텐션 패턴을 학습하여 불필요한 행렬 연산을 최소화한다.
• 선택적 네트워크 프루닝과 8비트 부동소수점 양자화를 사용해 모델 크기와 메모리 대역폭을 줄인다.
• 비트 마스크 인코딩을 사용해 고밀도 임bedded 비휘발성 메모리(eNVM)에 공유 다중 작업 단어 임베딩을 저장하여 에너지 효율적인 액세스를 실현한다.
• 핵심 연산(softmax, 레이어 정규화, 어텐션 마스킹)의 수치 안정성과 에너지 효율성을 최적화하기 위해 EdgeBERT 가속기의 공동 설계를 수행한다.

실험 결과

연구 질문

• RQ1 엔트로피 기반 신뢰도 예측을 사용한 조기 종료가 엣지 디바이스에서 에너지 최적화 및 지연 시간 제약을 충족하는 추론을 가능하게 할 수 있는가?
• RQ2 문장 수준의 추론과 효과적으로 통합된 동적 전압 주파수 스케일링(DVFS)은 지연 시간 제약을 충족하면서 에너지를 최소화하는 데 어떻게 기여하는가?
• RQ3 적응형 어텐션 스파이크와 모델 압축 기법은 BERT 추론에서 메모리 및 계산 오버헤드를 어느 정도 줄일 수 있는가?
• RQ4 SRAM 대비 eNVM에 공유 임베딩을 저장할 경우 시스템 수준의 에너지 및 성능 이점은 무엇인가?
• RQ5 알고리즘 최적화와 전용 하드웨어의 공동 설계는 에너지 및 지연 시간 측면에서 기존의 GPU 기반 또는 전체 모델 추론 대비 어떻게 비교되는가?

주요 결과

• EdgeBERT는 엣지 하드웨어에서 기존의 전체 모델 BERT 추론 대비 최대 7배의 낮은 에너지 소비를 달성한다.
• 지연 시간에 제약이 없는 조기 종료 방식과 비교해 에너지를 2.5배 줄였다. 이는 지연 시간 보장을 갖지 못하는 방식이다.
• Nvidia Jetson Tegra X2 모바일 GPU 기반 CUDA 구현 대비 53배의 에너지 절감을 달성했다.
• 공유 단어 임베딩을 eNVM에 저장함으로써 시스템 시작 및 무기동 기간 동안의 전력 소비를 감소시켰다.
• 적응형 어텐션 스파이크와 희소 계산의 조합이 불필요한 DRAM 액세스를 제거해 에너지 효율성을 향상시켰다.
• 빠른 스위칭 LDO와 ADPLL을 통해 실시간 DVFS 조정이 가능해졌으며, 목표 지연 시간 준수를 위한 최소 전압 및 주파수를 확보했다.