[논문 리뷰] SmartExchange: Trading Higher-cost Memory Storage/Access for Lower-cost Computation

Yang Zhao, Xiaohan Chen외 7명|arXiv (Cornell University)|2020. 05. 07.

Advanced Neural Network Applications참고 문헌 51인용 수 8

한 줄 요약

SmartExchange는 DNN 추론에서 비용이 많이 드는 메모리 액세스를 낮은 비용의 계산으로 대체하는 알고리즘-하드웨어 공동 설계 프레임워크를 제안한다. 이는 가중치를 소규모 기저 행렬과 희소하고 2의 거듭제곱인 계수 행렬의 곱으로 표현함으로써 이루어지며, 이는 군집화, 분해, 양자화를 통합하여 최대 6.7배 높은 에너지 효율성과 기존 최고 수준의 가속기 대비 19.2배 낮은 지연 시간을 달성한다. 다양한 모델과 데이터셋에서 성능 향상을 이룬다.

ABSTRACT

We present SmartExchange, an algorithm-hardware co-design framework to trade higher-cost memory storage/access for lower-cost computation, for energy-efficient inference of deep neural networks (DNNs). We develop a novel algorithm to enforce a specially favorable DNN weight structure, where each layerwise weight matrix can be stored as the product of a small basis matrix and a large sparse coefficient matrix whose non-zero elements are all power-of-2. To our best knowledge, this algorithm is the first formulation that integrates three mainstream model compression ideas: sparsification or pruning, decomposition, and quantization, into one unified framework. The resulting sparse and readily-quantized DNN thus enjoys greatly reduced energy consumption in data movement as well as weight storage. On top of that, we further design a dedicated accelerator to fully utilize the SmartExchange-enforced weights to improve both energy efficiency and latency performance. Extensive experiments show that 1) on the algorithm level, SmartExchange outperforms state-of-the-art compression techniques, including merely sparsification or pruning, decomposition, and quantization, in various ablation studies based on nine DNN models and four datasets; and 2) on the hardware level, the proposed SmartExchange based accelerator can improve the energy efficiency by up to 6.7$ imes$ and the speedup by up to 19.2$ imes$ over four state-of-the-art DNN accelerators, when benchmarked on seven DNN models (including four standard DNNs, two compact DNN models, and one segmentation model) and three datasets.

연구 동기 및 목표

• 자원 제약이 있는 엣지 디바이스에서 DNN 추론의 높은 데이터 이동 에너지 비용을 해결하기 위해.
• DNN 가중치를 압축되고 계산에 유리한 형태로 재구성하여 가중치 저장 용량과 DRAM 액세스 에너지를 모두 줄이기 위해.
• 구조적 희소성과 2의 거듭제곱 양자화를 활용하는 최적의 에너지 및 지연 시간 효율성을 달성하기 위해 알고리즘과 가속기의 공동 설계를 수행하기 위해.
• 군집화, 분해, 양자화의 세 가지 주요 압축 기법을 하나의 상호보완적인 프레임워크로 통합하기 위해.

제안 방법

• 각 레이어의 가중치 행렬을 소규모 기저 행렬과 큰 희소 계수 행렬의 곱으로 표현한다. 이 계수 행렬은 오직 2의 거듭제곱인 비영 요소만 갖는다.
• 계수 행렬에 희소성과 2의 거듭제곱 양자화를 적용하여 곱셈-누적 연산 대신 시프트-애드 연산을 가능하게 한다.
• 모델 정확도를 유지하면서도 극한의 압축을 달성하기 위해 재훈련을 고려한 SmartExchange 알고리즘을 개발한다.
• 벡터 수준의 구조적 희소성과 압축된 가중치를 최대한 활용하기 위해 최적화된 데이터 플로우와 처리 요소 구성이 적용된 전용 가속기를 설계한다.
• 영가중치 및 영활성 경로에 대한 계산과 메모리 액세스를 건너뛰는 하드웨어 인식 데이터 플로우를 구현한다.
• 비트 수준 및 벡터 수준의 희소성을 활용하여 추론 중 에너지 소비와 지연 시간을 모두 감소시킨다.

실험 결과

연구 질문

• RQ1 군집화, 분해, 양자화를 통합한 단일 프레임워크가 개별 기법 대비 뛰어난 압축 효율성을 달성할 수 있는가?
• RQ2 구조적 희소성과 2의 거듭제곱 양자화가 DNN 추론에서 메모리 액세스 에너지와 계산 비용을 얼마나 줄일 수 있는가?
• RQ3 제안된 가속기가 SmartExchange 가중치 구조를 얼마나 효과적으로 활용하여 에너지 효율성과 지연 시간을 향상시키는가?
• RQ4 SmartExchange 프레임워크는 극한의 압축과 저비용 계산을 가능하게 하면서도 높은 모델 정확도를 유지할 수 있는가?

주요 결과

• 아우트라이어 분석에서 SmartExchange는 아홉 개의 모델과 네 개의 데이터셋에서 기존 최고 수준의 압축 기법을 초월하며, 정확도 손실이 ≤2% 이내를 유지한다.
• SmartExchange 가속기는 네 개의 기존 최고 수준의 DNN 가속기 대비 최대 6.7배 높은 에너지 효율성과 19.2배 낮은 지연 시간을 달성한다.
• ResNet50에서 가중치 희소성을 45.0%에서 60.0%로 증가시켰더니 DRAM 에너지 비용이 18.33% 감소하고 지연 시간이 41.83% 감소했다.
• MobileNetV2의 깊이 분할 컨벌루션 레이어에서 전용 가속기 설계로 에너지 비용이 최대 28.8% 감소하고 지연 시간이 최대 65.7% 감소했다.
• 벡터 수준의 구조적 희소성을 효과적으로 활용하여 메모리 액세스와 계산 양 모두에 상당한 절감 효과를 얻었다.
• SmartExchange와의 재훈련 통합은 극한의 압축과 저비용 계산을 달성하면서도 고정확도를 유지하는 데 효과적이었다.