[논문 리뷰] Dynamically Hierarchy Revolution: DirNet for Compressing Recurrent Neural Network on Mobile Devices

Jie Zhang, Xiaolong Wang외 2명|ArXiv.org|2018. 06. 04.

Speech Recognition and Synthesis참고 문헌 2인용 수 5

한 줄 요약

DirNet는 고정된 압축률과 계층 간의 상호작용을 고려하여 계층적 레이어에서 동시에 희박성과 사전 학습을 최적화하는 동적 모델 압축 프레임워크이다. 이는 최소한의 정확도 손실로 고압축률을 달성할 수 있도록 한다. 동적으로 사전 원자들을 탐색하고 각 레이어의 희박성 수준을 적응적으로 조정함으로써 DirNet은 모바일 기기에서 실시간 추론이 가능하고 ASR 및 언어 모델링 작업에서 WER의 유의미한 증가 없이 최대 8배의 모델 압축을 달성한다.

ABSTRACT

Recurrent neural networks (RNNs) achieve cutting-edge performance on a variety of problems. However, due to their high computational and memory demands, deploying RNNs on resource constrained mobile devices is a challenging task. To guarantee minimum accuracy loss with higher compression rate and driven by the mobile resource requirement, we introduce a novel model compression approach DirNet based on an optimized fast dictionary learning algorithm, which 1) dynamically mines the dictionary atoms of the projection dictionary matrix within layer to adjust the compression rate 2) adaptively changes the sparsity of sparse codes cross the hierarchical layers. Experimental results on language model and an ASR model trained with a 1000h speech dataset demonstrate that our method significantly outperforms prior approaches. Evaluated on off-the-shelf mobile devices, we are able to reduce the size of original model by eight times with real-time model inference and negligible accuracy loss.

연구 동기 및 목표

• 높은 계산 및 메모리 요구량으로 인해 자원이 제한된 모바일 기기에서 큰 RNN을 배포하는 데 도전하는 문제를 해결하기 위해.
• 다양한 레이어 수준의 중복성에 대한 동적 적응이 부족하고 압축률이 고정된 기존의 압축 방법의 한계를 극복하기 위해.
• 계층 간 및 순환 가중치 행렬 압축을 동시에 최적화하여 고압축률을 달성하면서 정확도 손실를 최소화하기 위해.
• RNN의 구조적 및 기능적 차이에 기반하여 계층 간의 희박성 수준을 적응적으로 조정하는 방법을 개발하기 위해.
• 모델 성능을 유지하면서도 일반적인 모바일 하드웨어에서 실시간 추론을 구현하기 위해.

제안 방법

• DirNet는 각 레이어 내에서 투영 사전 행렬로부터 동적으로 사전 원자를 탐색하는 빠른 사전 학습 알고리즘을 사용하여 레이어별로 압축률을 제어할 수 있도록 한다.
• 공유된 투영 사전를 사용하여 순환 및 계층 간 가중치 행렬을 동시에 압축함으로써 네트워크 전반에서 표현 일관성을 유지한다.
• 각 은닉 레이어의 기능적 역할과 중복성에 따라 희박 코드의 다양한 희박성 수준을 적응적으로 설정하여 성능 저하를 최소화한다.
• 파arameterized 희박성 제어(Θ⁰)와 수축 요소(γ)를 통해 동적으로 압축률을 조정하는 수축 메커니즘이 수렴성과 압축 품질을 최적화한다.
• 모델 정확도를 유지하면서 딕셔너리와 희박 코드를 반복적으로 정밀하게 조정하는 계층적 최적화 전략을 사용한다.
• 압축 과정에서 레이어 간에 공유된 코드북 표현을 통합함으로써 파rameter 효율성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 학습을 통한 동적이고 레이어별 압축이 정적 또는 균일한 방법보다 RNN에서 더 높은 압축률을 달성할 수 있는가?
• RQ2 계층적 레이어 간의 적응형 희박성 제어가 압축된 RNN의 정확도와 추론 속도에 어떤 영향을 미치는가?
• RQ3 DirNet는 얼마나 높은 정도로 원본 성능에 가까운 성능을 유지하면서도 모바일 기기에서 최대 8배의 모델 크기 감소를 달성할 수 있는가?
• RQ4 동적 사전 원자 탐색과 적응형 희박성의 조합이 SVD나 프루닝 기반 압축 방식에 비해 성능 향상과 정확도 측면에서 어떤가?
• RQ5 압축 효율성과 모델 성능 간의 최적 균형을 이루기 위해 어떤 파라미터 설정(Θ⁰ 및 γ)이 가장 적합한가?

주요 결과

• DirNet는 LibriSpeech에서 1.3M 파라미터와 12.9% WER를 달성하며 4.3배의 압축률을 기록했고, 원본 10.3M 파라미터 모델의 12.7% WER와 동일한 성능을 유지했다. 반면 SVD 및 ODL 방법은 유사한 압축 수준에서 3.4–3.9%의 WER 증가를 보였다.
• 7.9배의 압축률에서 DirNet는 12.9% WER를 유지했지만, LSTM-SVD와 LSTM-ODL은 각각 16.1%와 14.3% WER로 성능 저하를 보였다. 이는 DirNet의 뛰어난 정확도 유지 능력을 입증한다.
• 동일한 압축 수준에서 DirNet는 모바일 CPU에서 4.2배의 속도 향상을 기록했고, LSTM-SVD와 LSTM-ODL은 각각 1.4배와 2.6배의 속도 향상을 기록했다.
• 수렴 속도와 압축 품질의 균형을 고려할 때 최적의 초기 희박성 파라미터 Θ⁰ = 10⁷ 및 수축 요소 γ = 0.4를 확보했으며, 이하의 Θ⁰ 값에서는 성능이 급격히 저하되었다.
• 적응형 계층 구조 압축 덕분에 DirNet는 동일한 뉴런 수조차도 LSTM-SVD보다 낮은 WER을 유지했으며, 이는 레이어별 희박성 조정의 유용성을 확인한다.
• DirNet는 8배의 모델 압축률을 기록하면서도 정확도 손실이 거의 없이 일반 모바일 기기에서 실시간 추론을 가능하게 하여 실용적인 배포 가능성과 함께 검증되었다.