[논문 리뷰] Bayesian Sparsification of Recurrent Neural Networks

Lobacheva Ekaterina, Nadezhda Chirkova외 1명|arXiv (Cornell University)|2017. 07. 31.

Neural Networks and Applications참고 문헌 21인용 수 14

한 줄 요약

이 논문은 이진 변동 베이지안 드롭아웃(Gal & Ghahramani, 2016b)의 통찰을 활용해 순환 신경망(RNNs)에 대한 베이지안 희소화를 도입한 Sparse Variational Dropout (Sparse VD)를 제안한다. 감성 분석에서는 최대 99.5%의 희소성, 문자 수준의 언어 모델링에서는 87.6%의 희소성 달성과 함께 정확도 저하가 최소화되어 자원 제한된 장치에 효율적이고 정규화된, 압축된 RNN을 구현할 수 있다.

ABSTRACT

Recurrent neural networks show state-of-the-art results in many text analysis tasks but often require a lot of memory to store their weights. Recently proposed Sparse Variational Dropout eliminates the majority of the weights in a feed-forward neural network without significant loss of quality. We apply this technique to sparsify recurrent neural networks. To account for recurrent specifics we also rely on Binary Variational Dropout for RNN. We report 99.5% sparsity level on sentiment analysis task without a quality drop and up to 87% sparsity level on language modeling task with slight loss of accuracy.

연구 동기 및 목표

• 자연어 처리 및 음성 인식과 같은 순차적 작업에서 큰 RNN의 높은 메모리 및 계산 비용을 해결하기 위해.
• 히우리스틱 프루닝과 수동 하이퍼파라미터 튜닝의 한계를 극복하기 위해, RNN에 대해 원칙적이고 자동적인 희소화를 적용하기 위해.
• 베이지안 정규화와 변동 추론을 통해 높은 희소성 수준을 달성하면서도 모델 성능을 유지하기 위해.
• 이진 변동 베이지안 드롭아웃 원칙을 RNN에 통합하여 Sparse VD 프레임워크를 순환 아키텍처에 적응시키기 위해 (Gal & Ghahramani, 2016b).
• 정확도 저하 없이 모델 압축을 통해 모바일 및 엣지 장치에 RNN을 효율적으로 구현하기 위해.

제안 방법

• 가중치 행렬을 완전히 분리된 정규 사후분포를 가진 랜덤 변수로 모델링하여 Sparse Variational Dropout (Sparse VD)를 RNN에 적용: $ q(w_{ij}|m_{ij},\alpha_{ij}) = \mathcal{N}(m_{ij}, \alpha_{ij}m^{2}_{ij}) $.
• 가산 재패arameterization을 사용: $ w_{ij} = m_{ij} + \epsilon_{ij}, \epsilon_{ij} \sim \mathcal{N}(0, \sigma^{2}_{ij}) $, $ \alpha_{ij} = \sigma^{2}_{ij}/m^{2}_{ij} $로 설정하여 기울기 분산을 감소시킴.
• 지역 재패arameterization 기법을 적용하여 노이즈를 가중치가 아닌 전활성화에 적용함으로써 학습 효율성과 기울기 안정성을 향상시킴.
• 가중치 크기의 로그-균일 사전분포를 사용: $ p(|w_{ij}|) \propto 1/|w_{ij}| $, 이는 훈련 중 자동으로 희소성 학습이 가능하게 함.
• RNN의 순환 연결을 적절히 처리하기 위해 RNN용 베이지안 드롭아웃(Gal & Ghahramani, 2016b)을 통합하여 기울기 소실 및 메모리 손실을 방지함.
• 변동 하한 bound $ \mathcal{L} $를 $ \{M, \log\sigma\} $에 대해 최적화하며, KL 발산은 미분 가능한 해석적 형태로 근사: $ k(\alpha) \approx 0.64\sigma(1.87 + 1.49\log\alpha) - 0.5\log(1 + \alpha^{-1}) + C $.

실험 결과

연구 질문

• RQ1 Sparse Variational Dropout가 순환 신경망에 효과적으로 확장되어 모델 성능을 유지할 수 있는가?
• RQ2 베이지안 희소화를 통해 RNN에서 얼마나 높은 수준의 희소성을 달성할 수 있으며, 정확도 저하가 최소화되는가?
• RQ3 Sparse VD와 RNN용 베이지안 드롭아웃을 조합함으로써 일반화 성능과 모델 압축이 어떻게 향상되는가?
• RQ4 이러한 방법이 히우리스틱 프루닝이나 표준 드롭아웃에 비해 순차적 작업에서 희소성 및 정확도의 상호 보완적 관계에서 더 우수한 성능을 보이는가?
• RQ5 이 방법이 순환층과 임bedding층 모두에 적용되어 큰 RNN 모델의 추가적인 압축이 가능한가?

주요 결과

• IMDB 감성 분석 작업에서 이 방법은 정확도에 유의미한 하락 없이 최대 99.5%의 희소성 달성하여 높은 압축 효율성을 입증함.
• 문자 수준 언어 모델링 작업에서는 가중치 행렬($W^x$, $W^h$, $W^y$)에서 최대 87.6%의 희소성 달성과 함께 검증 세트에서 비트/문자 수치가 1.499에서 1.506으로 약간 증가함.
• 은닉층 간 가중치 행렬($W^h$)에 대해 VBD로 초기화한 모델은 무작위 초기화보다 더 우수한 성능 달성하여 구조적 초기화의 이점 입증.
• Sparse VD로 훈련한 모델는 초기 에포크 동안 희소성 증가로 인해 일시적으로 정확도가 하락했으나, 이후 복구되고 성능 유지함.
• Sparse VD와 RNN용 베이지안 드롭아웃의 조합은 수동 하이퍼파라미터 튜닝 없이 자동이고 원칙적인 희소화를 가능하게 하여 과적합을 감소시키고 일반화 성능 향상.
• 모델 크기를 극적으로 줄여 정확도를 유지하면서도 메모리 제약이 있는 장치에 큰 RNN을 구현할 수 있도록 함.