[논문 리뷰] Dancing along Battery: Enabling Transformer with Run-time Reconfigurability on Mobile Devices

Yuhong Song, Weiwen Jiang외 7명|arXiv (Cornell University)|2021. 02. 12.

Green IT and Sustainability참고 문헌 33인용 수 6

한 줄 요약

이 논문은 이동 기기에서 런타임 재구성 가능성을 가능하게 하는 이중 수준 AutoML 프레임워크인 RT³을 제안한다. 이는 블록 구조형 프루닝(BP)과 강화학습 기반 패턴 프루닝(PP)을 결합하여 트랜스포머 모델의 에너지 효율성을 햖스킨다. 하드웨어(DVFS)와 소프트웨어(동적 패턴 세트) 재구성 기능을 통합함으로써 RT³는 트랜스포머 모델에서 4.9배 이상의 배터리 수명 연장과 1% 미만의 정확도 손실을 달성하였으며, 디스틸버티 모델에서는 1.5%의 손실을 기록하였다. 또한 45ms 이내의 모델 전환 시간을 확보하여 실시간 성능을 유지를 하였다.

ABSTRACT

A pruning-based AutoML framework for run-time reconfigurability, namely RT3, is proposed in this work. This enables Transformer-based large Natural Language Processing (NLP) models to be efficiently executed on resource-constrained mobile devices and reconfigured (i.e., switching models for dynamic hardware conditions) at run-time. Such reconfigurability is the key to save energy for battery-powered mobile devices, which widely use dynamic voltage and frequency scaling (DVFS) technique for hardware reconfiguration to prolong battery life. In this work, we creatively explore a hybrid block-structured pruning (BP) and pattern pruning (PP) for Transformer-based models and first attempt to combine hardware and software reconfiguration to maximally save energy for battery-powered mobile devices. Specifically, RT3 integrates two-level optimizations: First, it utilizes an efficient BP as the first-step compression for resource-constrained mobile devices; then, RT3 heuristically generates a shrunken search space based on the first level optimization and searches multiple pattern sets with diverse sparsity for PP via reinforcement learning to support lightweight software reconfiguration, which corresponds to available frequency levels of DVFS (i.e., hardware reconfiguration). At run-time, RT3 can switch the lightweight pattern sets within 45ms to guarantee the required real-time constraint at different frequency levels. Results further show that RT3 can prolong battery life over 4x improvement with less than 1% accuracy loss for Transformer and 1.5% score decrease for DistilBERT.

연구 동기 및 목표

• 에너지 제약이 있는 이동 기기에서 실시간 성능을 확보하면서도 큰 정확도를 가진 트랜스포머 모델을 구현하는 데 도전하는 것.
• 변동하는 전력 및 성능 요구에 대응하기 위해 런타임 중 하드웨어 및 소프트웨어 재구성을 동적으로 가능하게 하는 것.
• 이동 기기 배포를 위한 모델 압축, 에너지 효율성, 추론 지연 시간을 공동 최적화하는 것.
• 다양한 주파수 수준에서 경량 모델 전환을 지원하는 확장 가능하고 자동화된 프레임워크를 개발하는 것.

제안 방법

• RT³는 이후 패턴 프루닝을 위한 효과적인 탐색 시작점을 확보하기 위해 모델 크기를 줄이고 첫 단계로 블록 구조형 프루닝(BP)을 적용한다.
• BP 처리된 모델을 바탕으로 히우리스틱을 사용해 패턴 세트의 축소된 탐색 공간을 생성함으로써, 불필요한 강화학습(ML) 훈련과 탐색 비용을 줄인다.
• 강화학습(RL)을 활용해 다양한 희박성 수준을 가진 최적의 패턴 세트를 탐색하며, 이는 가용한 DVFS 주파수 수준에 대응한다.
• 이 프레임워크는 45ms 이내로 경량 패턴 세트 간의 런타임 전환을 가능하게 하여 실시간 제약 조건을 충족시킨다.
• 하드웨어 재구성(DVFS)과 소프트웨어 재구성(패턴 세트)를 조합하여 이동 기기에서의 에너지 절감을 극대화한다.
• BP 이후 백본 모델은 고정되어 있어, 런타임 전환 중 모든 패턴 세트에서 일관된 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 블록 구조형 프루닝과 패턴 프루닝을 융합한 하이브리드 프루닝 전략이 정확도를 유지하면서 트랜스포머 모델을 효과적으로 압축할 수 있는가?
• RQ2 축소된 탐색 공간 내에서 강화학습이 최적의 패턴 세트를 효율적으로 탐색하여 경량 소프트웨어 재구성 기능을 가능하게 할 수 있는가?
• RQ3 이동 기기에서 에너지 절감을 극대화하기 위해 하드웨어(DVFS)와 소프트웨어(패턴 세트) 재구성을 어떻게 공동 최적화할 수 있는가?
• RQ4 자원 제약 환경에서 런타임 재구성 가능성이 얼마나 정확도를 유지하면서 배터리 수명을 연장할 수 있는가?

주요 결과

• RT³는 트랜스포머 모델에서 4.96배의 배터리 수명 향상을 달성하였으며, 정확도 손실은 0.95%에 그쳤다.
• 디스틸버티 모델의 경우, RT³는 성능 점수를 1.5%만 감소시켰지만, 배터리 수명을 4.9배 이상 연장하였다.
• 프레임워크는 다양한 DVFS 주파수 수준에서 45ms 이내로 패턴 세트 간의 모델 전환을 가능하게 하여 실시간 제약 조건을 충족시켰다.
• 블록 구조형 프루닝은 위키텍스트-2에서 정확도 손실을 0.64%로 줄였으며, 랜덤 프루닝(2.03% 손실)보다 우수한 성능을 보였고, 효과적인 탐색 공간 축소를 가능하게 하였다.
• BP와 RL 기반 PP의 조합은 랜덤 패턴 프루닝보다 정확도 유지 성능이 뛰어나, 손실률이 4.88%로 떨어졌고, 랜덤 접근 방식은 11.07%의 손실을 기록하였다.
• 시각화 결과, RL이 식별한 패턴들이 희박성 수준에 관계없이 구조적 특성을 유지하고 있음을 확인하였으며, 이는 효과적인 특징 유지의 가능성을 시사한다.