[논문 리뷰] LightRNN: Memory and Computation-Efficient Recurrent Neural Networks

Xiang Li, Tao Qin외 2명|arXiv (Cornell University)|2016. 10. 31.

Topic Modeling참고 문헌 28인용 수 42

한 줄 요약

LightRNN는 어휘 단어를 공유 테이블 내의 행 벡터와 열 벡터로 표현함으로써 고유한 벡터 수를 $|V|$에서 $2\sqrt{|V|}$로 줄이는 2-컴ponent 공유 임베딩 메커니즘을 제안한다. 이로 인해 RNN 모델 크기를 줄이고 학습 속도를 높일 수 있으며, One-Billion-Word 벤치마크에서 상태의 기술(SOTA) 퍼플렉서티를 달성하면서도 모델 크기를 40-100배 작게 만들고 학습 속도를 2배 빠르게 하였다. 정확도는 최적의 단어 할당을 위한 부트스트랩 개선 프레임워크를 통해 유지되었다.

ABSTRACT

Recurrent neural networks (RNNs) have achieved state-of-the-art performances in many natural language processing tasks, such as language modeling and machine translation. However, when the vocabulary is large, the RNN model will become very big (e.g., possibly beyond the memory capacity of a GPU device) and its training will become very inefficient. In this work, we propose a novel technique to tackle this challenge. The key idea is to use 2-Component (2C) shared embedding for word representations. We allocate every word in the vocabulary into a table, each row of which is associated with a vector, and each column associated with another vector. Depending on its position in the table, a word is jointly represented by two components: a row vector and a column vector. Since the words in the same row share the row vector and the words in the same column share the column vector, we only need $2 \sqrt{|V|}$ vectors to represent a vocabulary of $|V|$ unique words, which are far less than the $|V|$ vectors required by existing approaches. Based on the 2-Component shared embedding, we design a new RNN algorithm and evaluate it using the language modeling task on several benchmark datasets. The results show that our algorithm significantly reduces the model size and speeds up the training process, without sacrifice of accuracy (it achieves similar, if not better, perplexity as compared to state-of-the-art language models). Remarkably, on the One-Billion-Word benchmark Dataset, our algorithm achieves comparable perplexity to previous language models, whilst reducing the model size by a factor of 40-100, and speeding up the training process by a factor of 2. We name our proposed algorithm \emph{LightRNN} to reflect its very small model size and very high training speed.

연구 동기 및 목표

• 특히 어휘 수가 1000만 단어를 초과할 경우 발생하는 고비용의 RNN 학습 메모리 및 계산 비용을 해결한다.
• 예측 정확도를 훼손하지 않으면서도 GPU 및 모바일 환경에서의 배포에 적합한 모델 크기와 학습 시간을 줄인다.
• 대규모 언어 모델링을 위한 확장 가능한 학습 및 추론을 가능하게 하는 효율적인 단어 표현 방법을 설계한다.
• 모델 성능 향상을 위해 단어 할당과 임베딩 벡터를 동시에 최적화하는 부트스트랩 프레임워크를 개발한다.

제안 방법

• 어휘 내 각 단어를 2차원 테이블의 행 벡터와 열 벡터의 조합으로 표현함으로써 고유한 벡터 수를 $|V|$에서 $2\sqrt{|V|}$로 감소시킨다.
• 부트스트랩 학습 루프를 사용: 초기에 단어 할당을 무작위로 설정하고, 임베딩을 고정한 후, 학습 손실을 최소화하는 방식으로 최적의 할당을 위한 최소 무게 완전 매칭을 통해 할당을 개선한다.
• 그래프 이론에서의 최소 무게 완전 매칭 문제로 단어 할당 개선 문제를 해결함으로써 효율적인 최적화를 가능하게 한다.
• RNN을 2C 공유 임베딩으로 학습하고, 임베딩 갱신과 할당 개선을 번갈아가며 수렴할 때까지 반복한다.
• 언어 모델링 작업에 이 방법을 적용하고, One-Billion-Word 및 ACLW와 같은 벤치마크 데이터셋에서 평가한다.
• n-gram 모델과 앙상블 기법을 적용하여 퍼플렉서티 점수를 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 공유 임베딩 메커니즘이 대규모 어휘 언어 모델링 작업에서 성능 저하 없이 RNN 모델 크기와 학습 시간을 줄일 수 있는가?
• RQ2 2-컴ponent 공유 임베딩은 단어 간 의미적 및 문법적 관계를 얼마나 효과적으로 포착하는가?
• RQ3 단어 할당과 임베딩을 동시에 최적화하는 부트스트랩 프레임워크는 모델 정확도와 효율성을 향상시킬 수 있는가?
• RQ4 기존 RNN과 비교했을 때 2C 공유 임베딩를 사용할 경우 모델 크기, 학습 속도, 퍼플렉서티 간의 상호 상충 관계는 어떠한가?

주요 결과

• One-Billion-Word 데이터셋에서 LightRNN는 HSM(85)과 B-RNN(68)과 유사한 수준의 퍼플렉서티 66을 달성하였으며, 모델 파라미터 수는 단 4100만 개에 불과했다.
• HSM 대비 모델 크기를 40배, B-RNN 대비 100배 줄였으며, B-RNN의 41억 파라미터 대비 LightRNN는 4100만 파라미터로 압도적으로 작아졌다.
• 학습 시간은 2배 빨라졌다: LightRNN는 BillionW에서 70시간 내에 학습을 완료했고, HSM는 168시간이 소요되었으며, 단어 재할당에 소요된 시간은 총 시간의 2.36%에 불과했다.
• 5-gram 모델과 앙상블한 결과, One-Billion-Word 데이터셋에서 테스트 퍼플렉서티 43을 달성하여 모든 기준 모델을 초월했다.
• 단어 할당 테이블은 자동으로 의미적·구문적 군집(예: 장소 이름, 시간 표현, URL 등)을 발견함으로써 암묵적인 구조 학습 능력을 보였다.
• 부트스트랩 개선 과정을 3~4라운드 수행한 후 퍼플렉서티가 안정화됨을 확인하여 최적화 과정의 수렴성과 강건성을 입증하였다.