[논문 리뷰] RTMobile: Beyond Real-Time Mobile Acceleration of RNNs for Speech Recognition

Peiyan Dong, Siyue Wang외 9명|arXiv (Cornell University)|2020. 02. 19.

Advanced Neural Network Applications참고 문헌 35인용 수 12

한 줄 요약

RTMobile는 블록 기반 구조적 프루닝(BSP)과 컴파일러 최적화를 조합하여 모바일 디바이스에서 실시간 RNN 추론을 달성한 최초의 프레임워크이다. 이 프레임워크는 정확도 손실 없이 10배 이상의 모델 압축을 가능하게 하며, 이전의 FPGA 기반 방법보다 모바일 GPU에서 40배 높은 에너지 효율성을 달성하여 정확도, 속도, 효율성 면에서 최신 기술을 초월한다.

ABSTRACT

Recurrent neural networks (RNNs) based automatic speech recognition has nowadays become prevalent on mobile devices such as smart phones. However, previous RNN compression techniques either suffer from hardware performance overhead due to irregularity or significant accuracy loss due to the preserved regularity for hardware friendliness. In this work, we propose RTMobile that leverages both a novel block-based pruning approach and compiler optimizations to accelerate RNN inference on mobile devices. Our proposed RTMobile is the first work that can achieve real-time RNN inference on mobile platforms. Experimental results demonstrate that RTMobile can significantly outperform existing RNN hardware acceleration methods in terms of inference accuracy and time. Compared with prior work on FPGA, RTMobile using Adreno 640 embedded GPU on GRU can improve the energy-efficiency by about 40$ imes$ while maintaining the same inference time.

연구 동기 및 목표

• 고도로 복잡한 계산과 높은 메모리 소비로 인해 모바일 디바이스에서 실시간 RNN 추론을 구현하는 데 도전하는 문제를 해결하기 위해.
• 기존의 RNN 가속 기술에서 모델 압축, 추론 정확도, 하드웨어 효율성 간의 상충 관계를 극복하기 위해.
• 모바일 플랫폼에서 높은 정확도와 높은 계산 효율성을 동시에 확보할 수 있는 종단 간 프레임워크를 개발하기 위해.
• TVM과 같은 기존의 DNN 가속 프레임워크가 RNN을 지원하지 않는 한계를 제거하기 위해.
• 특수 하드웨어(예: FPGA)에 의존하지 않고도 모바일 GPU와 CPU에서 실시간 성능을 달성하면서도 높은 에너지 효율성과 모델 정확도를 유지하기 위해.

제안 방법

• 하드웨어 효율성을 위해 모델의 규칙성을 유지하면서도 세분화된 프루닝을 가능하게 하는 새로운 블록 기반 구조적 프루닝(BSP) 알고리즘을 제안한다.
• 프루닝된 모델을 위한 압축된 데이터 포맷(BSPC), 행렬 재정렬, 불필요한 로드 제거 등의 컴파일러 지원 최적화를 도입한다.
• 필터와 채널 전반에 걸쳐 구조적 규칙성을 유지하는 블록 단위 프루닝 전략을 사용하여 모바일 GPU에서 효율적인 메모리 접근과 병렬 처리를 가능하게 한다.
• 정확도 손실 없이 고정밀도로 유지하기 위해 GRU 모델의 훈련 및 미세조정을 위해 PyTorch-Kaldi 툴킷을 활용한다.
• 컴파일 타임에 코드 생성 및 데이터 레이아웃 최적화를 통해 GPU 활용도를 극대화하고 메모리 스토그레이션을 최소화한다.
• 평가를 위해 모바일 GPU(Adreno 640)와 CPU 플랫폼을 활용하며, FPGA 기반의 ESE 및 기타 최신 기술과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 모바일 디바이스에서 RNN 추론 정확도를 저하시키지 않으면서도 고압축률을 달성할 수 있는 프루닝 전략이 가능한가?
• RQ2 컴파일러 수준의 최적화가 프루닝된 RNN에 대해 모바일 GPU에서 추론 속도와 에너지 효율성을 크게 향상시킬 수 있는가?
• RQ3 특수 하드웨어(FPGA 등)에 의존하지 않고도 GPU 기반 가속만으로도 모바일 플랫폼에서 실시간 RNN 추론을 달성할 수 있는가?
• RQ4 세분화된 구조적 프루닝과 코드 생성의 조합이 모델 크기, 정확도, 계산 효율성 간의 상충 관계에 어떤 영향을 미치는가?
• RQ5 실시간 성능을 유지하면서 정확도 손실를 최소화할 수 있는 최고의 압축률 상한선은 무엇인가?

주요 결과

• RTMobile는 정확도 손실 없이 10배 이상의 모델 압축을 달성하며, ESE와 C-LSTM보다도 더 높은 압축률과 추론 정확도를 확보한다.
• 245배의 압축률에서 RTMobile는 모델 파라미터를 3.25M에서 0.04M로 줄였으며, 휴대폰 오류율(PER)은 24.20%를 유지하여 기준 C-LSTM 모델의 정확도(24.15%)와 동일한 성능을 달성한다.
• Adreno 640 모바일 GPU에서 RTMobile는 ESE보다 40배 높은 에너지 효율성을 확보했으며, ESE는 고전압 FPGA 플랫폼(41W)을 사용한다.
• RTMobile는 FPGA 기반의 ESE와 동일한 추론 시간(82.7 μs)을 유지하면서도 최적화된 메모리 접근과 병렬 처리 덕분에 훨씬 높은 에너지 효율성을 확보한다.
• 압축률이 250배 이상일 경우 추론 속도 향상이 안정화되며, 이는 BSP와 컴파일러 최적화가 계산 및 메모리 병목 현상을 효과적으로 완화했음을 시사한다.
• BSPC 압축 포맷과 컴파일러 최적화는 메모리 접근 비정규성 감소와 GPU 활용도 향상을 가능하게 하여 초고압축률에서도 고GOP/s 성능을 달성한다.