[논문 리뷰] Hash Embeddings for Efficient Word Representations

Dan Tito Svenstrup, Jonas Meinertz Hansen외 1명|arXiv (Cornell University)|2017. 09. 12.

Topic Modeling참고 문헌 15인용 수 32

한 줄 요약

이 논문은 표준 단어 임베딩과 특성 해싱의 장점을 결합한 효율적인 단어 표현을 위한 새로운 방법인 해시 임베딩을 소개한다. 공유된 임베딩 벡터 풀에서 k개의 해시 함수를 사용해 선택된 k개의 d차원 임베딩 벡터와 토큰당 k개의 학습 가능한 가중치를 사용함으로써, 해시 임베딩은 동적 어휘 처리, 암시적 프루닝, 파rameter 수 감소를 가능하게 하여, 여러 NLP 작업에서 표준 임베딩과 동등하거나 그 이상의 성능을 달성하면서 모델 크기를 극적으로 줄인다.

ABSTRACT

We present hash embeddings, an efficient method for representing words in a continuous vector form. A hash embedding may be seen as an interpolation between a standard word embedding and a word embedding created using a random hash function (the hashing trick). In hash embeddings each token is represented by $k$ $d$-dimensional embeddings vectors and one $k$ dimensional weight vector. The final $d$ dimensional representation of the token is the product of the two. Rather than fitting the embedding vectors for each token these are selected by the hashing trick from a shared pool of $B$ embedding vectors. Our experiments show that hash embeddings can easily deal with huge vocabularies consisting of millions of tokens. When using a hash embedding there is no need to create a dictionary before training nor to perform any kind of vocabulary pruning after training. We show that models trained using hash embeddings exhibit at least the same level of performance as models trained using regular embeddings across a wide range of tasks. Furthermore, the number of parameters needed by such an embedding is only a fraction of what is required by a regular embedding. Since standard embeddings and embeddings constructed using the hashing trick are actually just special cases of a hash embedding, hash embeddings can be considered an extension and improvement over the existing regular embedding types.

연구 동기 및 목표

• 신경망 기반 NLP 모델에서 큰 어휘 크기로 인한 과도한 파rameter 수와 학습 오버헤드 문제를 해결하기 위해.
• 큰 어휘나 동적 어휘를 가진 모델에서 사전 학습된 어휘 사전과 후처리 프루닝이 필요 없도록 하기 위해.
• 표준 임베딩의 표현력과 특성 해싱의 효율성을 결합한 하이브리드 접근법을 개발하기 위해.
• 사전 정의된 사전 없이 재학습이나 사전 구축 없이 온라인 학습과 동적 어휘 확장을 가능하게 하기 위해.
• 하향류 NLP 작업에서 성능을 유지하거나 향상시키면서 모델 크기와 파arameter 수를 줄이기 위해.

제안 방법

• 각 토큰은 공유된 B개의 벡터 풀에서 k개의 해시 함수를 통해 선택된 k개의 d차원 임베딩 벡터로 표현된다.
• 선택된 k개의 임베딩 벡터의 가중합을 계산하기 위해 학습 가능한 k차원 가중치 벡터를 사용하며, 이로 최종 d차원 표현이 형성된다.
• 성분 벡터와 중요도 가중치에 동일한 해시 함수를 사용하지만, 충돌 위험을 줄이기 위해 가중치에 대해 다른 해시 함수를 탐색한다.
• 해시 버킷에 관련된 가중치만 학습함으로써 어휘 프루닝을 암시적으로 수행하며, 이로 인해 효과적인 파arameter 수가 감소한다.
• 최종 표현은 모델 파arameter의 미분 가능하고 연속적인 함수이므로, 기울기 기반 최적화를 통한 엔드 투 엔드 학습이 가능하다.
• 사전 정의된 사전이 없는 학습과 표준 사전 기반 학습을 모두 지원하여, 온라인 및 오프라인 학습 환경에서의 유연성을 확보한다.

실험 결과

연구 질문

• RQ1 해시와 학습 가능한 가중치를 조합한 하이브리드 임베딩 방법이 파arameter 수를 줄이면서도 표준 임베딩과 동등한 성능을 달성할 수 있는가?
• RQ2 다양한 NLP 분류 작업에서 해시 임베딩의 성능이 표준 임베딩과 특성 해싱보다 어떻게 비교되는가?
• RQ3 해시 임베딩은 사전에 정의된 사전이나 후처리 프루닝 없이도 큰 어휘나 지속적으로 성장하는 어휘를 얼마나 잘 처리할 수 있는가?
• RQ4 해시 버킷에 대한 학습 가능한 가중치 사용이 표준 임베딩보다 일반화 성능을 향상시키는 정규화 효과를 제공하는가?
• RQ5 해시 임베딩은 사전에 어휘가 알려지지 않은 온라인 학습 시나리오에서 효과적으로 사용될 수 있는가?

주요 결과

• 해시 임베딩은 AG, DBP, Yelp, Amazon 감성 분류 작업을 포함한 일곱 개의 벤치마크 데이터셋에서 표준 임베딩과 동등하거나 그 이상의 성능을 달성했다.
• 일곱 개의 데이터셋 중 다섯 개에서 최신 기술 모델들 중 상위 세 개 이내로 랭크되었으며, 강력한 경쟁력을 입증했다.
• 특히 큰 어휘를 가진 경우에 표준 임베딩보다 파arameter 수를 크게 줄였지만, 높은 정확도를 유지했다.
• 사전 정의된 어휘 사전이 없어도 성능이 안정적이고 경쟁력 있게 유지되어, 원활한 온라인 학습과 동적 어휘 처리가 가능했다.
• 성분 벡터와 중요도 가중치에 대해 다른 해시 함수를 사용할 경우, 충돌로 인한 정보 손실을 줄여 소규모이지만 일관된 성능 향상이 이루어졌다.
• 모델는 내재된 정규화 효과를 보이며, 활성 토큰과 관련된 파arameter들만 학습되기 때문에, 초기 단계부터 과적합과 파arameter 수가 효과적으로 감소한다.