[논문 리뷰] Word2Bits - Quantized Word Vectors

Maximilian Lam|arXiv (Cornell University)|2018. 03. 15.

Topic Modeling참고 문헌 27인용 수 24

한 줄 요약

이 논문은 Word2Vec 손실 함수에 직접 양자화 함수를 통합함으로써 매 파rameter당 1~2비트로도 고품질의 워드 벡터를 학습할 수 있는 Word2Bits를 제안한다. 이 방법은 기존 32비트 벡터 대비 메모리 사용량을 8~16배 줄이며, 놀랍게도 단어 유사성 및 질문-응답 작업에서 전밀도 벡터를 능가한다. 또한 과적합을 완화하는 정규화 기법으로서의 기능을 하여 성능을 향상시킨다.

ABSTRACT

Word vectors require significant amounts of memory and storage, posing issues to resource limited devices like mobile phones and GPUs. We show that high quality quantized word vectors using 1-2 bits per parameter can be learned by introducing a quantization function into Word2Vec. We furthermore show that training with the quantization function acts as a regularizer. We train word vectors on English Wikipedia (2017) and evaluate them on standard word similarity and analogy tasks and on question answering (SQuAD). Our quantized word vectors not only take 8-16x less space than full precision (32 bit) word vectors but also outperform them on word similarity tasks and question answering.

연구 동기 및 목표

• 기본적인 32비트 워드 벡터보다 훨씬 적은 메모리와 스토리지 용량을 요구하는 컴팩트하고 고품질의 워드 벡터를 학습하는 방법을 개발하기 위해.
• 학습 후 압축 기법의 한계를 해결하기 위해, 이는 계산 오버헤드를 추가하고 성능을 떨어뜨릴 수 있기 때문이다.
• 손실 함수에 직접 양자화를 통합한 학습이 내재적 및 외재적 NLP 작업에서 더 나은 일반화와 성능 향상을 이끌 수 있는지 조사하기 위해.
• 양자화된 학습이 정규화 기법으로서 기능하여, 특히 작은 데이터셋에서 과적합을 줄이는지 평가하기 위해.

제안 방법

• Word2Vec 손실에 미분 가능한 양자화 함수를 통합하여, 1~2비트 매 파ram터의 저비트 워드 벡터를 엔드 투 엔드로 학습할 수 있도록 한다.
• 실제 저비트 정밀도 산술을 사용하는 물리적 양자화가 아니라, 전체 정밀도 기울기로 학습하지만 제약된 파ram터 값으로 제어하는 가상의 양자화 접근 방식을 사용한다.
• 손실 내에서 이산 값으로의 역전파를 가능하게 하기 위해, 1비트에 대해서는 부호 함수, 2비트에 대해서는 4레벨 양자화 함수를 미분 가능한 대체 함수로 적용한다.
• 기본 아키텍처로 연속적 백터의 집합(CBOW)과 음성 샘플링을 사용하며, 양자화 함수를 벡터 갱신 과정에 통합한다.
• 대규모 텍스트(영어 위키백과 2017년)에서 학습하고, 표준 단어 유사성, 어법, SQuAD 질문-응답 벤치마크에서 평가한다.
• 창문 크기, 음성 샘플링, 서브샘플링, 최소 빈도 등의 표준 초모델 하이퍼파ram터를 사용하며, 선형 감쇠되는 학습률과 다양한 에포크 및 차원을 적용한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 학습을 통해 매 파ram터당 1~2비트로도 고품질의 워드 벡터를 학습할 수 있는가?
• RQ2 손실 함수에 양자화 함수를 통합한 학습이 전밀도 학습 대비 내재적 및 외재적 NLP 작업에서 성능 향상을 이끌 수 있는가?
• RQ3 양자화 과정이 정규화 기법으로서 작용하여, 특히 작은 데이터셋에서 Word2Vec의 과적합을 줄이는가?
• RQ4 낮은 비트 정밀도에도 불구하고, 질문-응답과 같은 후행 작업으로의 일반화 능력이 향상되는가?
• RQ5 비트 깊이에 따라 어법 작업 성능와 단어 유사성 작업 성능 사이에 상충 관계가 존재하는가?

주요 결과

• 매 파ram터당 1비트로 사용하는 양자화된 워드 벡터는 32비트 벡터 대비 메모리 사용량을 1/16로 줄이며, 단어 유사성 작업에서 전밀도 벡터를 능가한다 (예: text8에서 76.84 vs. 76.64).
• SQuAD 질문-응답 벤치마크에서 1비트 및 2비트 워드 벡터는 32비트 벡터보다 높은 성능을 기록하여, 외재적 작업으로의 더 나은 일반화 능력을 보여준다.
• 100MB 위키백과 서브셋에서 32비트 Word2Vec은 학습 에포크와 더 높은 벡터 차원이 증가함에 따라 과적합의 징후를 보였지만, 양자화된 학습은 안정성을 유지했다.
• 1비트 및 2비트 벡터는 각각 Google 어법 작업에서 76.84와 77.04를 기록했으며, 32비트 기준선(77.12)보다 약간 낮은 성능을 보여, 어법 작업에서의 성능 상충 관계를 확인했다.
• 전밀도 벡터의 파ram터 값은 더 높은 차원에서 '폭발'하는 경향이 있었지만, 양자화된 학습에서는 이러한 현상이 관찰되지 않아 최적화 안정성이 향상됨을 시사한다.
• 결과는 내재적 작업(예: 단어 유사성)의 성능이 외재적 작업(예: SQuAD)의 성능을 예측하지 못하며, 이는 과거의 작업 특화 일반화 연구 결과를 뒷받침한다.