[논문 리뷰] On the Effectiveness of Low-Rank Matrix Factorization for LSTM Model Compression

Genta Indra Winata, Andrea Madotto외 3명|arXiv (Cornell University)|2019. 08. 27.

Topic Modeling참고 문헌 47인용 수 26

한 줄 요약

이 논문은 장기 단기 기억(Recurrent Neural Network, LSTM) 네트워크의 후처리 압축 방법으로 저질수 행렬 분해(MF)를 제안하며, 특히 덧셈형 반복 구조에서 MF가 절단보다 우수함을 입증한다. MF는 높은 행렬 노름 안정성 덕분에 중요한 특징을 보존함으로써 압축 성능을 향상시킨다. 이 방법은 성능 저하가 최소화된 채로 최대 2배(200% 빠른) 추론 속도를 달성하며, 특히 매우 압축된 모델에서 미세조정을 통해 성능이 약간 향상되기도 한다.

ABSTRACT

Despite their ubiquity in NLP tasks, Long Short-Term Memory (LSTM) networks suffer from computational inefficiencies caused by inherent unparallelizable recurrences, which further aggravates as LSTMs require more parameters for larger memory capacity. In this paper, we propose to apply low-rank matrix factorization (MF) algorithms to different recurrences in LSTMs, and explore the effectiveness on different NLP tasks and model components. We discover that additive recurrence is more important than multiplicative recurrence, and explain this by identifying meaningful correlations between matrix norms and compression performance. We compare our approach across two settings: 1) compressing core LSTM recurrences in language models, 2) compressing biLSTM layers of ELMo evaluated in three downstream NLP tasks.

연구 동기 및 목표

• 저질수 행렬 분해(MF)와 절단이 자연어 처리(NLP) 작업에서 LSTM 모델을 압축하는 데 효과적인지 조사하기.
• 특히 덧셈형 반복과 곱셈형 반복 간에 MF와 절단 중 어느 것이 더 효과적인지 판단하기.
• 행렬 노름(L1, 핵노름)과 압축 성능 간의 관계 분석하기.
• 언어 모델링과 하류 NLP 작업 모두에서 압축을 평가하며, 특히 매우 압축된 모델에서의 미세조정 효과 분석하기.
• 재학습이 비용이 많이 드는 상황에서 이미 조정된 작고 컴팩트한 모델을 위한 실용적인 후처리 압축 방법 제공하기.

제안 방법

• LSTM 게이트(W_i, W_h)의 가중치 행렬에 저질수 행렬 분해를 적용하여, 이를 두 개의 낮은 질서 행렬(U × V)로 분해함으로써 매개변수 수를 감소시킴.
• 구조적 절단을 통해 LSTM 행렬 내에서 작은 크기의 가중치를 제거하고, 다양한 압축 비율에서 MF와 성능를 비교함.
• PTB, Wiki-Text 2, SQuAD, SNLI에서 추론 속도 향상과 평가 지표 감소(예: 난이도, 정확도)를 측정하여 압축 효과성 평가.
• 행렬 노름(L1, 표준편차, 핵노름)을 분석하여 구조적 특성과 압축 성능 간의 상관관계 분석.
• 매우 압축된 모델(예: 약 98% 압축)에서 미세조정을 수행하여 성능을 복구하거나 향상시키기.
• MF와 절단을 다양한 구성요소(W_i 대 W_h)와 작업 간 비교하여 압축 가능성 패턴 규명하기.

실험 결과

연구 질문

• RQ1 저질수 행렬 분해(MF)가 다양한 NLP 작업에서 LSTM 모델을 압축하는 데 절단보다 우수한가?
• RQ2 LSTM에서 덧셈형 반복이 곱셈형 반복보다 더 압축 가능하거나 더 중요한가?
• RQ3 L1 노름과 핵노름 등의 행렬 노름이 압축 성능과 모델 안정성과 어떻게 관련되는가?
• RQ4 매우 압축된 모델(예: 98% 감소)은 미세조정을 통해 원본 모델보다 더 높은 성능을 달성할 수 있는가?
• RQ5 특정 가중치 행렬(예: W_h)의 본질적 저질수 구조가 더 나은 압축 결과를 설명하는가?

주요 결과

• 저질수 행렬 분해(MF)는 특히 덧셈형 반복에서 절단보다 일관되게 우수한 성능을 보이며, 중요한 특징의 보존이 더 잘 이루어지기 때문이다.
• 덧셈형 반복(W_i)은 곱셈형 반복(W_h)보다 더 압축 가능하고 더 중요하다. MF를 W_i에 적용할 경우 고압축 비율에서도 뛰어난 성능을 기록한다.
• 행렬 노름, 특히 L1 노름과 그 표준편차는 압축 성능와 강한 상관관계를 보인다. MF는 노름 변동성을 증가시켜 중요한 가중치의 유지가 더 잘 이루어짐을 시사한다.
• 핵노름 분석을 통해 W_h가 W_i보다 본질적으로 낮은 질서를 지닌다는 것이 확인되었으며, 이는 압축 비율이 낮을 경우 MF가 W_h에서 더 잘 작동하는 이유를 설명한다.
• 미세조정 후, 약 98%의 매개변수 감소를 겪은 모델은 최대 2배(200% 빠른) 추론 속도를 기록했으며, PTB에서 원본 기준 모델보다 약간 높은 성능을 달성했다.
• 절단은 ELMo의 W_h처럼 매우 흐린 행렬에서는 MF보다 성능이 뛰어나며, 기존에 작은 값을 가진 요소들을 0으로 설정함으로써 L1 노름 안정성을 유지한다.