[논문 리뷰] Intrinsically Sparse Long Short-Term Memory Networks

Shiwei Liu, Decebal Constantin Mocanu외 1명|arXiv (Cornell University)|2019. 01. 26.

Topic Modeling참고 문헌 19인용 수 6

한 줄 요약

이 논문은 스파arsity한 연결을 가진 장기 단기 기억망(LSTM)인 SET-LSTM을 제안하며, 이는 희박한 진화 학습(Sparse Evolutionary Training, SET)을 통해 완전히 연결된 LSTM의 4% 미만의 파라미터로도 최신 성능을 달성한다. LSTM 셀과 임bedding 레이어에 초기 스파arsity 연결성을 설정하고 학습 중에 네트워크 구조를 진화시킴으로써, 메모리와 계산 비용을 줄이면서도 네 개의 데이터셋에서 정확도를 향상시키거나 동등하게 유지한다.

ABSTRACT

Long Short-Term Memory (LSTM) has achieved state-of-the-art performances on a wide range of tasks. Its outstanding performance is guaranteed by the long-term memory ability which matches the sequential data perfectly and the gating structure controlling the information flow. However, LSTMs are prone to be memory-bandwidth limited in realistic applications and need an unbearable period of training and inference time as the model size is ever-increasing. To tackle this problem, various efficient model compression methods have been proposed. Most of them need a big and expensive pre-trained model which is a nightmare for resource-limited devices where the memory budget is strictly limited. To remedy this situation, in this paper, we incorporate the Sparse Evolutionary Training (SET) procedure into LSTM, proposing a novel model dubbed SET-LSTM. Rather than starting with a fully-connected architecture, SET-LSTM has a sparse topology and dramatically fewer parameters in both phases, training and inference. Considering the specific architecture of LSTMs, we replace the LSTM cells and embedding layers with sparse structures and further on, use an evolutionary strategy to adapt the sparse connectivity to the data. Additionally, we find that SET-LSTM can provide many different good combinations of sparse connectivity to substitute the overparameterized optimization problem of dense neural networks. Evaluated on four sentiment analysis classification datasets, the results demonstrate that our proposed model is able to achieve usually better performance than its fully connected counterpart while having less than 4\% of its parameters.

연구 동기 및 목표

• 자원 제한 환경에서 큰 LSTM 모델의 메모리 및 계산 비효율성 문제를 해결하기 위해.
• 기존 압축 기법에서 비용이 많이 드는 사전 훈련된 완전히 연결된 모델에 대한 의존성을 극복하기 위해.
• 초기 아키텍처 설계 단계에서 희박성을 도입함으로써 효율적인 훈련과 추론을 가능하게 하기 위해.
• 적응형 희박한 연결성은 과다 파rameter화된 밀집 네트워크보다 더 나은 최적화 경로를 제공할 수 있는지 탐색하기 위해.
• 실제 시퀀스 NLP 작업에서 희박한 LSTM의 성능 및 내구성 평가하기 위해.

제안 방법

• LSTM 셀과 임베딩 레이어에서 모두 초기 단계부터 희박한 연결성을 가지는 새로운 LSTM 아키텍처인 SET-LSTM을 도입한다.
• 초기에는 에르되시-레니 기반 무작위 그래프 구조를 기반으로 하여, 희박한 진화 학습(SET) 절차를 적용해 학습 도중 희박한 연결성의 구조를 진화시킨다.
• LSTM 게이트 내 표준 완전히 연결된 선형 변환을 희박하고, 훈련 가능한, 적응형 연결 패턴으로 대체한다.
• 성능 피드백을 기반으로 반복적으로 연결을 재구성하는 진화 전략을 사용하여, 가중치와 아키텍처를 동시에 최적화한다.
• 각 훈련 에포크마다 스파arsity 진화를 제어하기 위해 리워이어 레이트 하이퍼파ram터를 사용하며, 데이터에 동적 적응이 가능하도록 한다.
• 훈련 및 추론 중 메모리 대역폭과 계산 오버헤드를 줄이기 위해 희박한 데이터 구조를 활용한다.

실험 결과

연구 질문

• RQ1 초기 단계에서 LSTM에 희박한 연결성을 설정함으로써, 극적으로 감소된 파라미터로도 높은 성능을 달성할 수 있는가?
• RQ2 SET를 통한 적응형 희박한 네트워크 구조 진화는 과다 파rameter화된 밀집 LSTM보다 더 나은 일반화 성능을 낳는가?
• RQ3 SET-LSTM의 성능은 여러 감성 분류 벤치마크에서 완전히 연결된 LSTM과 비교해 어떻게 되는가?
• RQ4 고정된 구조와 학습된 구조, 그리고 가중치 초기화 방식이 희박한 네트워크 성능에 미치는 영향은 무엇인가?
• RQ5 스파arsity 수준과 모델 정확도 사이에 트레이드오프가 존재하는가? 효과적인 성능을 내기 위한 최적의 스파arsity 범위는 무엇인가?

주요 결과

• SET-LSTM는 네 개의 감성 분석 데이터셋 중 세 개에서 완전히 연결된 LSTM과 비교해 높거나 동등한 정확도를 달성하며, 파라미터 수가 최대 25배 적다.
• IMDb 데이터셋에서 SET-LSTM는 밀집 기준 모델의 3.8%에 불과한 파라미터로 80.14%의 정확도를 달성했으며, 기준 모델보다 0.89% 높은 성능을 보였다.
• Yelp 2018 데이터셋에서 SET-LSTM는 밀집 모델 대비 96% 적은 파라미터로 68.13%의 정확도를 기록했다.
• 트위터 데이터에 대한 최적의 리워이어 레이트는 ζ = 0.9이며, 각 에포크당 연결의 10%만 유지함으로써 79.37%의 정확도를 달성했다.
• 랜덤 초기화로 고정된 구조를 훈련한 결과는 77.97%로, 원래의 진화 학습 결과(78.89%)에 비해 유의미하게 열등했으며, 이는 가중치와 아키텍처를 동시에 최적화하는 것이 중요함을 시사한다.
• 극도의 희박성(99.1% 제거) 조건에서도 SET-LSTM는 78.75%의 정확도를 유지했으며, 밀집 LSTM의 77.19%를 초월해 고스파arsity에 대한 강건성을 입증했다.