[논문 리뷰] Selfish Sparse RNN Training

Shiwei Liu, Decebal Constantin Mocanu외 2명|arXiv (Cornell University)|2021. 01. 22.

Advanced Neural Network Applications참고 문헌 57인용 수 12

한 줄 요약

이 논문은 고정된 파라미터 수를 가진 스파스 순환 신경망(RNN)을 새로이 훈련하기 위한 Selfish-RNN를 제안한다. 이는 새로운 스파스 옵티마이저(SNT-ASGD)와 비균일한 게이트 기반 가중치 재분배를 통해 정규화를 향상시키는 방법이다. 이는 펜 트리뱅크와 위키텍스트-2에서 최신 기준 성능을 달성하며, RNN 환경에서의 밀도-에서-스파스로의 프루닝 방법을 능가한다.

ABSTRACT

Sparse neural networks have been widely applied to reduce the computational demands of training and deploying over-parameterized deep neural networks. For inference acceleration, methods that discover a sparse network from a pre-trained dense network (dense-to-sparse training) work effectively. Recently, dynamic sparse training (DST) has been proposed to train sparse neural networks without pre-training a dense model (sparse-to-sparse training), so that the training process can also be accelerated. However, previous sparse-to-sparse methods mainly focus on Multilayer Perceptron Networks (MLPs) and Convolutional Neural Networks (CNNs), failing to match the performance of dense-to-sparse methods in the Recurrent Neural Networks (RNNs) setting. In this paper, we propose an approach to train intrinsically sparse RNNs with a fixed parameter count in one single run, without compromising performance. During training, we allow RNN layers to have a non-uniform redistribution across cell gates for better regularization. Further, we propose SNT-ASGD, a novel variant of the averaged stochastic gradient optimizer, which significantly improves the performance of all sparse training methods for RNNs. Using these strategies, we achieve state-of-the-art sparse training results, better than the dense-to-sparse methods, with various types of RNNs on Penn TreeBank and Wikitext-2 datasets. Our codes are available at https://github.com/Shiweiliuiiiiiii/Selfish-RNN.

연구 동기 및 목표

• 기존의 동적 스파스 훈련(DST) 방법이 RNN에서 성능이 열악하여 밀도-에서-스파스로의 접근에 뒤처지는 문제를 해결하기 위해.
• 밀도 모델의 사전 훈련 없이 고정된 파라미터 수를 가진 엔드 투 엔드 스파스 RNN 훈련을 가능하게 하기 위해.
• LSTM 셀 게이트 간의 비균일한 가중치 재분배를 통해 스파스 RNN의 일반화 및 성능 향상을 위해.
• 스파스 훈련에 적합한 SNT-ASGD라는 새로운 옵티마이저를 개발하여 다양한 RNN 아키텍처에서 수렴성과 성능을 향상시키기 위해.
• 스파스 연결성의 위상적 구조를 분석하고 RNN에서의 가중치 증가와 스파스성 분포에 대해 놀라운 통찰을 드러내기 위해.

제안 방법

• SNT-ASGD를 도입한다. 이는 비단조화 평균을 사용하는 평균화된 확률적 경사 하강법의 스파스 변종으로, 스파스 RNN 훈련에 특화되어 있다.
• 훈련 중에 LSTM 셀 게이트(입력, 잊기, 셀, 출력) 간에 비균일한 가중치 재분배를 적용하여 정규화를 향상시킨다.
• 훈련 전반에 걸쳐 고정된 스파스 레벨을 사용하여 반복적 프루닝 또는 성장 단계를 피한다.
• 다양한 스파스 연결 패턴 간의 위상적 거리를 측정하기 위해 그래프 이론적 측정법을 적용한다.
• 영향력이 없는 가중치 파라미터에 대한 계산을 건너뛰는 역전파 메커니즘을 적용하여, 존재하지 않는 기울기를 저장하지 않고도 FLOPs를 감소시킨다.
• 균일, 에르도시-레니(Rényi), ERK 등의 다양한 스파스 분포와 무작위 대비 기울기 기반 전략을 비교하여 RNN에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 동적 스파스 훈련이 밀도-에서-스파스로의 방법과 유사한 수준의 최신 기준 성능을 RNN에서 달성할 수 있는가?
• RQ2 LSTM 셀 게이트 간의 비균일한 가중치 재분배가 일반화 및 모델 성능을 향상시키는가?
• RQ3 스파스 분포 선택(균일 대비 에르도시-레니)이 스파스 RNN의 성능에 어떤 영향을 미치는가?
• RQ4 왜 스파스 RNN 훈련에서는 기울기 기반 전략이 무작위 기반 전략보다 성능이 열등한가?
• RQ5 저손실 스파스 RNN 아키텍처의 위상적 다양성은 무엇이며, 서로 어떻게 다를 수 있는가?

주요 결과

• Selfish-RNN는 펜 트리뱅크와 위키텍스트-2에서 최신 기준 성능을 달성하며, RNN 환경에서의 밀도-에서-스파스로의 프루닝 및 기존 DST 방법을 모두 능가한다.
• 모든 RNN 모델에서 잊기 게이트 가중치가 일관되게 가장 스파스한 것으로 나타났으며, 셀 및 출력 게이트 가중치는 평균보다 더 높은 밀도를 유지한다.
• 무작위 기반 가중치 증가 전략이 기울기 기반 전략보다 스파스 RNN 훈련에서 더 우수한 성능을 보였으며, 이는 CNN 및 MLP에서의 결과와는 반대이다.
• 에르도시-레니(ER) 분포의 이론적 이점에도 불구하고, RNN에서는 균일 분포가 ER 분포보다 더 우수한 성능을 보였다.
• 서로 위상적으로 다를 수 있는 많은 저손실 스파스 RNN 아키텍처가 존재하며, 이는 효과적인 스파스 아키텍처의 풍부한 다양성을 시사한다.
• SNT-ASGD는 RNN의 모든 스파스 훈련 방법에서 성능을 크게 향상시켜, 일반 목적 옵티마이저로서의 효과성을 입증한다.