[논문 리뷰] Compressing Language Models using Doped Kronecker Products

Urmish Thakker, Paul N. Whatmough외 3명|arXiv (Cornell University)|2020. 01. 24.

Blind Source Separation Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 대규모 NLP 모델에서 발생하는 정확도 손실을 복구하기 위해 희소 오버레이 행렬을 추가함으로써 크론커 곱 기반 모델 압축을 향상시키는 Doped Kronecker Product (DKP) 압축 기법을 제안한다. 공행렬 행 드롭아웃 정규화(CMR)를 도입함으로써 학습 중 공행렬 적응을 억제함으로써 DKP는 25MB 크기의 LSTM 언어 모델을 25배로 압축하면서 퍼플렉서티가 1.2%만 증가시키며, 이는 프루닝, LMF, HMD 기법을 능가한다.

ABSTRACT

Kronecker Products (KP) have been used to compress IoT RNN Applications by 15-38x compression factors, achieving better results than traditional compression methods. However when KP is applied to large Natural Language Processing tasks, it leads to significant accuracy loss (approx 26%). This paper proposes a way to recover accuracy otherwise lost when applying KP to large NLP tasks, by allowing additional degrees of freedom in the KP matrix. More formally, we propose doping, a process of adding an extremely sparse overlay matrix on top of the pre-defined KP structure. We call this compression method doped kronecker product compression. To train these models, we present a new solution to the phenomenon of co-matrix adaption (CMA), which uses a new regularization scheme called co matrix dropout regularization (CMR). We present experimental results that demonstrate compression of a large language model with LSTM layers of size 25 MB by 25x with 1.4% loss in perplexity score. At 25x compression, an equivalent pruned network leads to 7.9% loss in perplexity score, while HMD and LMF lead to 15% and 27% loss in perplexity score respectively.

연구 동기 및 목표

• 대규모 NLP 모델에 크론커 곱(KP) 압축을 적용할 경우 발생할 수 있는 심각한 정확도 저하(최대 26%) 문제를 해결하기 위해.
• 희소 오버레이 행렬을 통해 추가 자유도를 도입함으로써 KP 압축 과정에서 손실된 모델 용량을 복원하기 위해.
• KP와 희소 행렬 요소가 함께 적응하여 성능을 떨어뜨리는 문제인 공행렬 적응(CMA)을 방지할 수 있는 학습 방법론을 개발하기 위해.
• 기존의 압축 기법들에 비해 퍼플렉서티 손실이 적고 높은 압축 비율(예: 25배)을 달성하기 위해.

제안 방법

• 가중치 행렬을 크론커 곱 행렬(M_kp = B ⊗ C)과 희소 행렬(M_sp)의 합으로 표현하여 W = M_kp + M_sp로 구성한다.
• 희소 행렬 M_sp는 초기에는 밀집 상태이며 학습 도중에 프루닝되어 M_kp에서 추가 자유도가 필요한 요소를 모델이 학습할 수 있도록 한다.
• 공행렬 행 드롭아웃 정규화(CMR)를 도입하여 각 행마다 M_kp와 M_sp의 출력에 대해 독립적으로 베르누이 드롭아웃을 적용함으로써 공행렬 적응을 방지한다.
• CMR는 동적으로 조정되며, M_sp가 점점 더 희소해짐에 따라 점차 정규화 압력이 감소한다.
• 학습 과정에서는 역전파를 사용하여 M_kp와 M_sp를 동시에 최적화하며, M_sp의 희소성으로 전체 압축 비율을 제어한다.
• 이 방법은 PTB 벤치마크에서 평가된 LSTM 기반 언어 모델에 적용되며, 압축 비율과 퍼플렉서티가 측정된다.

실험 결과

연구 질문

• RQ1 크론커 곱 압축된 가중치 행렬에 희소 오버레이 행렬을 추가하면 대규모 NLP 모델에서 발생한 정확도 손실을 복구할 수 있는가?
• RQ2 KP와 희소 행렬을 결합할 경우 발생하는 학습 과제는 무엇이며, 공행렬 적응은 어떻게 효과적으로 억제할 수 있는가?
• RQ3 공행렬 행 드롭아웃 정규화(CMR)와 같은 새로운 정규화 기법이 도핑된 크론커 곱 모델의 안정적 학습을 가능하게 하는가?
• RQ4 DKP 기반 압축은 프루닝, 저랭크 분해, 하이브리드 기법에 비해 압축 비율과 퍼플렉서티 측면에서 어떻게 비교되는가?
• RQ5 DKP와 CMR를 사용할 때 최대한의 압축 비율을 달성하면서 퍼플렉서티 저하를 최소화할 수 있는가?

주요 결과

• DKP는 25MB 크기의 LSTM 언어 모델을 25배로 압축하면서 테스트 퍼플렉서티가 기준값 82.04에 비해 단지 1.2% 증가시켰다.
• 25배 압축 비율에서 DKP의 퍼플렉서티 손실은 프루닝된 네트워크의 7.9% 대비 7.9% 포인트 감소하여 1.2%로 훨씬 낮게 유지되었다.
• 25배 압축 비율에서 DKP는 HMD(15% 퍼플렉서티 손실)와 LMF(27% 손실)를 모두 능가하며 정확도 유지 능력이 뛰어나다는 것을 입증했다.
• CMR 정규화는 M_sp의 희소 수준이 높아져도 안정적인 학습 퍼플렉서티를 유지함으로써 공행렬 적응을 효과적으로 방지함을 입증했다.
• 최고의 이전 기법(Park et al., 2017)보다 2.5배 더 높은 압축 비율을 달성하면서도 낮은 퍼플렉서티를 유지했다.
• 100배 압축 비율에서 DKP는 테스트 퍼플렉서티 138.3을 기록하여 기준값 150.737보다 4포인트 향상되었으며, 제어된 희소성으로도 확장성이 뛰어나다는 것을 보여주었다.