[논문 리뷰] Hardware-Guided Symbiotic Training for Compact, Accurate, yet Execution-Efficient LSTM

Hongxu Yin, Guoyang Chen외 4명|arXiv (Cornell University)|2019. 01. 30.

Advanced Neural Network Applications참고 문헌 32인용 수 8

한 줄 요약

이 논문은 현대 하드웨어에서 모델 크기와 추론 지연 간의 비단조화적 관계인 지연 히스테리시스 효과(LHE)를 활용하여, 모델의 압축성, 정확도, 추론 효율성을 동시에 최적화하는 하드웨어 유도 공생 학습 방법을 제안한다. 다중 해상도 성장-자르기 알고리즘과 하드웨어 인식 아키텍처 탐색을 조합하여, 정확도 손실 없이 CPU에서 최대 30.5배의 파라미터 감소와 5.2배의 지연 감소를 달성하였으며, 음성 인식 작업에서 정확도까지 향상시켰다.

ABSTRACT

Many long short-term memory (LSTM) applications need fast yet compact models. Neural network compression approaches, such as the grow-and-prune paradigm, have proved to be promising for cutting down network complexity by skipping insignificant weights. However, current compression strategies are mostly hardware-agnostic and network complexity reduction does not always translate into execution efficiency. In this work, we propose a hardware-guided symbiotic training methodology for compact, accurate, yet execution-efficient inference models. It is based on our observation that hardware may introduce substantial non-monotonic behavior, which we call the latency hysteresis effect, when evaluating network size vs. inference latency. This observation raises question about the mainstream smaller-dimension-is-better compression strategy, which often leads to a sub-optimal model architecture. By leveraging the hardware-impacted hysteresis effect and sparsity, we are able to achieve the symbiosis of model compactness and accuracy with execution efficiency, thus reducing LSTM latency while increasing its accuracy. We have evaluated our algorithms on language modeling and speech recognition applications. Relative to the traditional stacked LSTM architecture obtained for the Penn Treebank dataset, we reduce the number of parameters by 18.0x (30.5x) and measured run-time latency by up to 2.4x (5.2x) on Nvidia GPUs (Intel Xeon CPUs) without any accuracy degradation. For the DeepSpeech2 architecture obtained for the AN4 dataset, we reduce the number of parameters by 7.0x (19.4x), word error rate from 12.9% to 9.9% (10.4%), and measured run-time latency by up to 1.7x (2.4x) on Nvidia GPUs (Intel Xeon CPUs). Thus, our method yields compact, accurate, yet execution-efficient inference models.

연구 동기 및 목표

• 현재의 신경망 압축 기법들이 하드웨어에 무관하며, 모델 크기를 줄여도 실행 효율이 향상되지 않는 격차를 해소하기 위해.
• 하드웨어 특화 비단조화적 행동, 특히 지연 히스테리시스 효과(LHE)가 모델 크기, 정확도, 추론 지연 간의 상호 관계에 미치는 영향을 조사하기 위해.
• 하드웨어 영향을 받는 LHE와 구조적 희소성에 기반해, 모델의 압축성, 추론 정확도, 실행 효율성을 상호 보완적으로 최적화하는 학습 방법을 개발하기 위해.
• 실제 NLP 및 음성 인식 워크로드에서 GPU 및 CPU 모두에서 파라미터 수, 정확도, 런타임 지연의 세 가지 차원에서 기존 방법을 초월하기 위해.

제안 방법

• 이 방법은 희소성 있는 초기 아키텍처에서 시작하여, 하드웨어 기반 지연 측정에 따라 유도되는 구조적 성장-자르기 프로세스를 반복적으로 적용하여 네트워크를 정교화한다.
• 다양한 하드웨어 플랫폼에 최적화된 은닉층 차원(LHP)을 식별하기 위해 하드웨어 유도 아키텍처 탐색을 도입하여, 비효율적인 설계 포인트를 피한다.
• 가중치 수준과 레이어 수준에서 다중 해상도 자르기를 적용하며, 하드웨어 피드백에 기반해 자르기 비율을 동적으로 조정하여 정확도를 유지하면서 효율성을 극대화한다.
• 작은 모델이 메모리 접근 비효율성이나 커널 실행 오버헤드로 인해 더 느릴 수 있는 지연 히스테리시스 효과(LHE)를 활용하여 이러한 성능 함정을 피한다.
• GPU 추론에서는 하드웨어 최적화된 행렬 크기(예: 626/626)에 맞추어 차원을 감소시켜 GPU 전반에서 2–30%의 지연 감소를 달성한다.
• CPU 추론에서는 차원 감소 없이 가중치 희소성을 최대 94.2%까지 높여 Intel MKL의 희소 커널 가속 기능을 극대화하여 추가로 1.4배의 지연 감소를 달성한다.

실험 결과

연구 질문

• RQ1 하드웨어 영향을 받는 지연 히스테리시스(LHE)는 LSTMs에서 모델 크기와 추론 지연 간의 관계에 어떻게 영향을 미치는가?
• RQ2 하드웨어 유도 학습 전략은 크기는 작지만 실행 효율성이 떨어지는 비효율적인 모델 아키텍처를 피할 수 있는가?
• RQ3 실제 하드웨어 지연 피드백에 기반한 다중 해상도 성장-자르기 알고리즘이 LSTMs에서 압축성, 정확도, 실행 효율성의 상호 보완적 조화를 얼마나 향상시킬 수 있는가?
• RQ4 구조적 자르기와 하드웨어 인식 차원 조정의 조합이 GPU 및 CPU에서 추론 속도와 모델 정확도에 어떤 영향을 미치는가?
• RQ5 Intel MKL과 같은 최적화 라이브러리를 사용해 CPU에서 고도의 가중치 희소성을 효과적으로 활용할 수 있으며, 그로 인한 성능 향상은 어느 정도인가?

주요 결과

• Penn Treebank 언어 모델링 작업에서, 이 방법은 Nvidia GPU에서 모델 파라미터를 18.0배 감소시키고 추론 지연을 최대 2.4배 감소시켰으며, Intel Xeon CPU에서는 각각 30.5배와 5.2배 감소시켜 정확도 저하 없이 성능을 확보했다.
• AN4 음성 인식 작업에서, GPU에서는 파라미터를 7.0배 감소시키고 지연을 최대 1.7배 감소시켰으며, CPU에서는 각각 19.4배와 2.4배 감소시켰다. 또한 단어 오류율(WER)은 GPU에서 12.9%에서 9.9%로, CPU에서는 10.4%에서 9.9%로 향상되었다.
• 음성 인식을 위한 최종 CPU 추론 모델은 단지 260만 개의 파라미터(19.4배 압축)를 포함했으며, Intel Broadwell CPU에서 지연을 54.8% 감소시켜 2.2배의 속도 향상을 달성했고, WER는 10.37%로 기준 모델 대비 2.53% 향상되었다.
• 언어 모델링 작업에서 CPU에서는 최대 5.2배, GPU에서는 최대 2.4배의 지연 감소를 달성하여, 단순한 파라미터 감소를 넘어서 하드웨어 인식 설계가 상당한 효율성 향상을 이끌 수 있음을 입증했다.
• CPU에서 차원 감소를 피하고 희소성을 최대 94.2%까지 높임으로써, 이 방법은 Intel MKL의 희소 커널 가속 기능을 극대화하여 약 2배의 속도 향상을 기여했으며, 나머지 1.1배의 속도 향상은 H-LSTM 셀 최적화에서 유래했다.
• 이 방법은 비효율적인 설계 포인트를 성공적으로 피하여, 실제 모델 아키텍처 탐색 공간을 최대 90%까지 축소시켰으며, 압축성, 정확도, 실행 효율성의 세 가지 지표에서 모두 이전 연구를 뛰어넘는 성능을 달성했다.