[논문 리뷰] Learning Compact Recurrent Neural Networks

Zhiyun Lu, Vikas Sindhwani외 1명|arXiv (Cornell University)|2016. 04. 09.

Speech Recognition and Synthesis참고 문헌 9인용 수 21

한 줄 요약

이 논문은 하위 레이어에서 토플리츠 유사 구조 행렬을 사용하고 상위 레이어에서 공유된 낮은 질량 인수를 사용하여 순환 신경망(RNNs)과 LSTMs를 압축하는 하이브리드 압축 전략을 제안한다. 이 방법은 WER가 0.3% 증가하는 데 그치는 75%의 LSTM 파라미터 감소를 달성하며, 성능 유지를 위해 세포 상태 유지가 핵심임을 입증한다. 또한 순환 및 비순환 가중치는 유사하게 압축 가능하다.

ABSTRACT

Recurrent neural networks (RNNs), including long short-term memory (LSTM) RNNs, have produced state-of-the-art results on a variety of speech recognition tasks. However, these models are often too large in size for deployment on mobile devices with memory and latency constraints. In this work, we study mechanisms for learning compact RNNs and LSTMs via low-rank factorizations and parameter sharing schemes. Our goal is to investigate redundancies in recurrent architectures where compression can be admitted without losing performance. A hybrid strategy of using structured matrices in the bottom layers and shared low-rank factors on the top layers is found to be particularly effective, reducing the parameters of a standard LSTM by 75%, at a small cost of 0.3% increase in WER, on a 2,000-hr English Voice Search task.

연구 동기 및 목표

• 성능 손실 없이 효율적인 모델 압축을 가능하게 하기 위해 순환 아키텍처 내의 부족함을 탐색하기 위해.
• RNNs와 LSTMs에 대한 다양한 압축 기법—낮은 질량 인수, 해싱 기반 파라미터 공유, 구조적 행렬—을 평가하기 위해.
• 깊은 LSTM 아키텍처에서 레이어, 게이트, 가중치 유형 간 최적의 압축 전략을 규명하기 위해.
• 음성 인식 작업에서 파라미터 감소와 인식 정확도의 균형을 이루는 하이브리드 압축 프레임워크를 개발하기 위해.

제안 방법

• 하위 레이어의 가중치를 압축하기 위해 낮은 이격 랭크를 가진 토플리츠 유사 구조 행렬을 적용하여 복소화 유사 계산을 가능하게 한다.
• 상위 레이어에서 낮은 질량을 가진 공유 인수를 사용하여 질량이 감소한 투영 행렬을 통해 파라미터를 감소시킨다.
• 초기 레이어에서 구조적 행렬을, 더 깊은 레이어에서 공유된 낮은 질량 투영을 조합한 하이브리드 아키텍처를 구현한다.
• 순환 가중치(U), 비순환 가중치(W), 개별 게이트(입력, 잊기, 출력, 세포 상태) 등 다양한 구성 요소에서의 압축을 평가한다.
• 2,000시간 분량의 영어 음성 검색 작업에서 모델을 훈련하고 WER을 측정하여 성능 상충 관계를 평가한다.
• 완전한 모델에서 유도된 소프트 레이블을 사용하여 더 작은 압축 모델에서 지식 정복을 유도한다.

실험 결과

연구 질문

• RQ1 LSTM 아키텍처에서 효과적인 압축을 위해 가장 많은 부족함이 존재하는 위치는 어디인가요?
• RQ2 낮은 질량 인수, 해싱 기반 파라미터 공유, 구조적 행렬 등의 다양한 압축 기법은 성능과 효율성 측면에서 어떻게 비교될 수 있나요?
• RQ3 순환 가중치(U) 또는 비순환 가중치(W)를 압축할 경우 성능 결과에 차이가 발생합니까?
• RQ4 입력, 잊기, 출력, 세포 상태 중 어떤 게이트가 압축에 가장 민감하며, 어떻게 우선순위를 정해야 할까요?
• RQ5 구조적 행렬과 공유된 낮은 질량 투영을 조합한 하이브리드 압축 전략은 의미 있는 파라미터 감소를 이끌어내며 정확도 손실를 최소화할 수 있을까요?

주요 결과

• 하위 레이어에서 토플리츠 유사 구조 행렬을 사용하는 것이 공격적인 파라미터 감소를 위해 해싱 및 낮은 질량 인수보다 우수한 성능을 보였다.
• 상위 레이어에서 공유된 낮은 질량 인수는 네트워크 전반의 전체 파라미터 감소에 매우 효과적이었다.
• 하위 레이어에서 토플리츠 유사 행렬과 상위 레이어에서 공유된 낮은 질량 투영을 조합한 하이브리드 전략은 파라미터를 75% 감소시키며 WER는 0.3%만 증가시켰다.
• 순환 가중치 또는 비순환 가중치를 압축할 경우 유사한 성능를 보였으며, 이는 두 유형 간에 압축 가능성에 큰 차이가 없음을 시사한다.
• 세포 상태가 가장 중요한 구성 요소로 유지되어야 하며, 이를 압축할 경우 WER가 0.4% 증가하지만, 다른 게이트를 압축할 경우 더 작은 영향을 미친다.
• 모든 게이트(입력, 잊기, 출력)를 동시에 압축하면 WER가 0.5% 증가하고 파라미터 수가 0.14m 감소하지만, 이는 선택적 압축을 초과한 경우 수익 감소 효과를 보인다.