[논문 리뷰] Block-Sparse Recurrent Neural Networks

Sharan Narang, Eric Undersander외 1명|arXiv (Cornell University)|2017. 11. 08.

Advanced Neural Network Applications참고 문헌 22인용 수 96

한 줄 요약

논문은 블록 가지치기와 그룹 라쏘 정규화를 도입하여 RNNs 및 GRUs에서 블록 희소성을 유도하고 최소한의 정확도 손실과 약 10x 모델 크기 감소를 달성하며 32x32 블록까지 적용 가능하다.

ABSTRACT

Recurrent Neural Networks (RNNs) are used in state-of-the-art models in domains such as speech recognition, machine translation, and language modelling. Sparsity is a technique to reduce compute and memory requirements of deep learning models. Sparse RNNs are easier to deploy on devices and high-end server processors. Even though sparse operations need less compute and memory relative to their dense counterparts, the speed-up observed by using sparse operations is less than expected on different hardware platforms. In order to address this issue, we investigate two different approaches to induce block sparsity in RNNs: pruning blocks of weights in a layer and using group lasso regularization to create blocks of weights with zeros. Using these techniques, we demonstrate that we can create block-sparse RNNs with sparsity ranging from 80% to 90% with small loss in accuracy. This allows us to reduce the model size by roughly 10x. Additionally, we can prune a larger dense network to recover this loss in accuracy while maintaining high block sparsity and reducing the overall parameter count. Our technique works with a variety of block sizes up to 32x32. Block-sparse RNNs eliminate overheads related to data storage and irregular memory accesses while increasing hardware efficiency compared to unstructured sparsity.

연구 동기 및 목표

• Speech recognition 및 관련 작업에서 계산량 및 메모리 사용 감소를 목표로 한다.
• RNN/GRU 행렬에 블록 구조적 희소성을 만들기 위해 블록 가지치기와 그룹 라쏘 정규화를 제안한다.
• 4x4에서 32x32 블록까지의 대규모 음성 데이터셋에서 희소성-정확도 트레이드오프를 평가한다.
• 블록-희소 포맷이 비구조적 희소성에 비해 하드웨어 효율성에 이점을 보임을 입증한다.

제안 방법

• 가중치 가지치기를 확장하여 각 블록에서 대표적인 최대 크기를 선택하고 임계값 이하의 블록을 0으로 만든다.
• 일정 파라미터를 갖는 증가하는 가지치기 임계값을 사용하여 학습 중 높은 희소성을 달성한다.
• 블록 단위의 희소성을 촉진하기 위해 가중치 블록에 대한 그룹 라쏘 정규화를 도입하고 가지치기(GLP)와 결합한다.
• 블록 가지치기와 그룹 라쏘(GLP)의 결합을 적용하고 정확도 및 희소성에 미치는 영향을 분석한다.
• 32x32까지의 블록 크기를 탐색하고 하드웨어 영향과 메모리 오버헤드 감소에 대해 논의한다.

실험 결과

연구 질문

• RQ1 블록 가지치기와 그룹 라쏘 정규화가 RNN/GRU에서 80–90%의 높은 블록 희소성을 최소한의 정확도 손실로 생성할 수 있는가?
• RQ2 블록 크기와 가지치기 일정이 대규모 음성 데이터셋에서 정확도, 매개변수 수, 하드웨어 효율성에 어떤 영향을 미치는가?
• RQ3 블록 가지치기, 그룹 라쏘, 그리고 이들의 조합(GLP)이 RNN/GRU 모델의 성능에 어떻게 비교되는가?
• RQ4 가지치기 이전에 조밀한 모델 크기를 증가시키면 최종 희소성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 블록 가지치기와 가지치기를 포함한 그룹 라쏘는 약 89–90%의 희소성과 함께 CER 저하가 미미하며(GRU 8.8%, RNN 구성에 따라 16.7–16.0%),
• 희소한 RNN/GRU 모델은 매개변수를 대략 10배 감소시키고 GRU 희소 2560/3584는 CER를 조밀한 기반선에 근접하게 감소시킨다.
• 더 큰 블록 크기(최대 32x32)는 정확도 유지를 위해 낮은 희소성을 허용하는 경향이 있지만 여전히 메모리 오버헤드 감소의 이점을 얻는다.
• 가지치기 없이 그룹 라쏘만 사용하는 경우 GLP보다 성능이 떨어지며 가지치기가 희소성 효과에 도움을 준다.
• 더 크고 조밀한 모델(예: 2560/3072)을 가지치기에 앞서 사용하면 최종 희소성과 정확도가 조밀한 기반선에 더 가까워지면서도 높은 희소성을 유지할 수 있다.