[논문 리뷰] Slim Embedding Layers for Recurrent Neural Language Models

Zhongliang Li, Raymond Kulhanek외 3명|arXiv (Cornell University)|2017. 11. 27.

Topic Modeling참고 문헌 15인용 수 18

한 줄 요약

이 논문은 순환 신경망 언어 모델의 입력 및 출력 임베딩 레이어를 무작위로 구조화된 부분 벡터를 공유함으로써 간단하고 학습 가능한 파rameter 공유 방법을 제안한다. 이로 인해 모델 크기를 최대 90%까지 압축하면서도 동등한 퍼플렉서티와 BLEU 점수를 유지할 수 있으며, 성능 저하 없이도 컴act하고 효율적인 모델을 구현할 수 있다.

ABSTRACT

Recurrent neural language models are the state-of-the-art models for language modeling. When the vocabulary size is large, the space taken to store the model parameters becomes the bottleneck for the use of recurrent neural language models. In this paper, we introduce a simple space compression method that randomly shares the structured parameters at both the input and output embedding layers of the recurrent neural language models to significantly reduce the size of model parameters, but still compactly represent the original input and output embedding layers. The method is easy to implement and tune. Experiments on several data sets show that the new method can get similar perplexity and BLEU score results while only using a very tiny fraction of parameters.

연구 동기 및 목표

• 큰 어휘 크기로 인한 순환 신경망 언어 모델의 높은 메모리 비용 문제를 해결하기 위해.
• 성능 저하 없이 입력 및 출력 임베딩 레이어의 모델 파ram터 수를 줄이기 위해.
• 간단하고 학습 가능한 압축 기법을 개발하여 구현 및 튜닝이 용이하도록 하기 위해.
• 임베딩에서의 무작위 파rameter 공유가 정규화 역할을 하여 일반화 성능을 향상시키는지 탐색하기 위해.
• 메모리 제약이 있는 장치와 분산 시스템에 컴팩트한 언어 모델을 구현할 수 있도록 하기 위해.

제안 방법

• 입력 및 출력 임베딩 레이어의 각 단어에 대해 부분 벡터를 무작위로 고정할당한다.
• 각 단어의 임베딩은 다수의 공유된 부분 벡터를 연결하여 구성되며, 이로 인해 학습 가능한 파ram터 총 수가 감소한다.
• 부분 벡터 할당은 초기화 시 랜덤으로 설정되고 학습 기간 동안 고정되며, 부분 벡터 가중치는 종단 간 학습 방식으로 학습된다.
• 이 방법은 입력 및 출력 임베딩 레이어에 대해 별도로 적용되어 상당한 압축을 가능하게 한다.
• 추론 중에 내적을 효율적으로 계산하기 위해 동적 프로그래밍 기법을 활용한다.
• 이 기법은 기존의 학습 목표와 호환되며, 학습에 노이즈 대비 추정(NCE)을 함께 사용할 수 있다.

실험 결과

연구 질문

• RQ1 임베딩 레이어에서의 무작위로 구조화된 파ram터 공유가 성능 저하 최소화로 모델 크기를 크게 줄일 수 있는가?
• RQ2 제안된 압축 방법이 전체 크기의 모델과 비교해 경쟁력 있는 퍼플렉서티와 BLEU 점수를 유지하는가?
• RQ3 이 방법이 자원이 제한된 환경나 과적합이 발생하기 쉬운 상황에서 일반화 성능을 향상시키는 정규화 역할을 하는가?
• RQ4 CPU 및 GPU 환경에서 압축된 모델의 계산 효율성은 기준 모델 및 HashNet과 비교해 어떻게 되는가?
• RQ5 이 방법은 기계 번역 재순서 정렬과 같은 실제 작업에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 방법은 펜 트리뱅크 데이터셋에서 전체 크기 모델과 퍼플렉서티 차이를 1~2점 이내로 유지하면서 최대 90%까지 모델 파ram터를 감소시켰다.
• WMT12 번역 작업에서 압축된 모델은 BLEU 점수 26.25를 기록했으며, 전체 모델의 26.11과 비교해 매우 낮은 성능 저하를 보였다. 이는 뛰어난 전이 성능을 의미한다.
• SE 모델은 CPU에서 추론 시간이 0.7초, GPU에서는 25ms로, HashNet(80.6초 CPU)을 뛰어나며 압축되지 않은 모델(2.7초 CPU)에 근접한 성능을 보였다.
• 압축된 모델는 압축된 형태 덕분에 추론 시 메모리 사용량이 크게 줄어들어 메모리 제약이 있는 장치에 배포가 가능했다.
• 일부 설정에서는 일반화 성능 향상이 관찰되어 이 방법이 정규화의 한 형태로 작용할 가능성이 있음을 시사했다.
• 입력 및 출력 레이어를 각각 원래 크기의 1/8과 1/4로 압축해도 성능 저하가 최소한이었으며, 이는 효과적인 성능 유지의 증거였다.