[논문 리뷰] Compressing Word Embeddings via Deep Compositional Code Learning

Raphael Shu, Hideki Nakayama|arXiv (Cornell University)|2017. 11. 03.

Topic Modeling참고 문헌 31인용 수 29

한 줄 요약

이 논문은 Gumbel-softmax를 통한 미분 가능 학습을 통해 각 단어를 이산 해시 코드로 표현하는 기반 벡터의 조합으로 단어 임베딩을 압축하는 딥 컴pos리셔널 코드 학습을 제안한다. 이 방법은 감성 분석에서 최대 98%의 압축률을 달성하며, 기계 번역에서는 94–99%의 압축률을 기록하나 성능 저하 없이, 언어에 종속되지 않고 아키텍처에 의존하지 않는 모델 압축을 가능하게 한다.

ABSTRACT

Natural language processing (NLP) models often require a massive number of parameters for word embeddings, resulting in a large storage or memory footprint. Deploying neural NLP models to mobile devices requires compressing the word embeddings without any significant sacrifices in performance. For this purpose, we propose to construct the embeddings with few basis vectors. For each word, the composition of basis vectors is determined by a hash code. To maximize the compression rate, we adopt the multi-codebook quantization approach instead of binary coding scheme. Each code is composed of multiple discrete numbers, such as (3, 2, 1, 8), where the value of each component is limited to a fixed range. We propose to directly learn the discrete codes in an end-to-end neural network by applying the Gumbel-softmax trick. Experiments show the compression rate achieves 98% in a sentiment analysis task and 94% ~ 99% in machine translation tasks without performance loss. In both tasks, the proposed method can improve the model performance by slightly lowering the compression rate. Compared to other approaches such as character-level segmentation, the proposed method is language-independent and does not require modifications to the network architecture.

연구 동기 및 목표

• 성능 저하 없이 신경망 기반 NLP 모델의 메모리 및 스토리지 점유 공간을 줄이기 위해 단어 임베딩을 압축한다.
• 의미적으로 유사한 단어들이 독립된 벡터로 표현되는 표준 단어 임베딩의 부재를 해결한다.
• 언어에 종속되지 않으며, 기존 모델의 아키텍처 수정 없이도 적용 가능한 방법을 개발한다.
• Gumbel-softmax 기법을 통한 미분 가능 근사화를 통해 이산 해시 코드의 엔드 투 엔드 학습을 가능하게 한다.
• 다중 코드북 양자화와 유사한 단어 간 코드 공유를 통해 압축 효율을 극대화하면서 의미적 정밀도를 유지한다.

제안 방법

• 각 단어를 코드 $ C_w = (C_w^1, C_w^2, ..., C_w^M) $ 로 표현하며, 각 성분은 코드북 $ E_i $ 에서 하나의 코드워드를 선택한다.
• 최종 임베딩을 합으로 구성한다: $ E(C_w) = \sum_{i=1}^M E_i(C_w^i) $, 이는 $ |V| $ 개의 고유한 벡터가 아닌 $ M \times K $ 개의 기반 벡터를 사용한다.
• 이진 코드보다 더 높은 압축률을 확보하기 위해 이산 정수 코드(예: $ (3,2,1,8) $)를 사용한 다중 코드북 양자화를 적용한다.
• 학습 중 이산 코드를 통한 역전파를 가능하게 하기 위해 Gumbel-softmax 기법을 적용한다.
• 재구성 오차를 최소화함으로써 코드 및 코드북 파라미터를 최적화한다: $ \frac{1}{|V|} \sum_w || \sum_i E_i(C_w^i) - \tilde{E}(w) ||^2 $.
• GloVe 등 사전에 학습된 임베딩에서 직접 코드를 학습함으로써 의미적 품질을 유지하면서 파라미터 수를 극적으로 줄인다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 단어 임베딩을 파라미터 수 기준 95% 이상으로 압축할 수 있는가?
• RQ2 이산적이고 학습 가능한 코드가 'dog'와 'dogs'와 같은 단어들 사이의 의미적 유사성을 효과적으로 포착할 수 있는가?
• RQ3 제안된 방법이 감성 분석 및 기계 번역과 같은 다양한 NLP 작업에서 성능을 유지하는가?
• RQ4 코드 활용도는 얼마나 효율적인가? 모든 코드워드가 의미적으로 할당되었거나 일부는 낭비되는가?
• RQ5 이 방법은 아키텍처 수정 없이도 다양한 언어와 모델에 일반적으로 적용 가능한가?

주요 결과

• IMDB 감성 분석 작업에서 98%의 압축률을 달성했으며 성능 저하 없이 BLEU 점수는 $32\times16$ 코드에서 29.04를 유지한다.
• 기계 번역 작업에서는 94–99%의 압축률을 기록했으며, 성능 저하가 최소한이었다. 예를 들어 De→En 번역에서 98% 압축률을 기록했고, 기준 모델 대비 BLEU 점수는 29.04 vs. 29.45였다.
• 고압축률에서도 단어를 약간 덜 압축함으로써 성능을 약간 향상시킬 수 있었으며, 이는 트레이드오프 최적화의 여지를 시사한다.
• 정성적 분석 결과 의미적으로 유사한 단어들(예: 'dog', 'dogs', 'cat')은 해밍 거리 기준으로 가까운 코드로 할당된 것으로 나타났다.
• 코드 활용도는 효율적이었다: 가장 덜 사용된 코드워드조차도 1,000개 이상의 단어에 할당되어 의미 없는 코드 낭비는 없었다.
• 이 방법은 언어에 종속되지 않으며, 네트워크 아키텍처 수정 없이도 이식 가능하여 모바일 및 자원이 제한된 장치에 넓게 적용 가능하다.