[논문 리뷰] Sketching Word Vectors Through Hashing

Behrang QasemiZadeh, Laura Kallmeyer|arXiv (Cornell University)|2017. 05. 11.

Music and Audio Processing참고 문헌 52인용 수 4

한 줄 요약

이 논문은 해시 기반 랜덤 프로젝션을 사용하여 단어 벡터를 학습하는 빠르고 복잡도가 낮은 방법을 제안한다. 여기서 문맥 단어들은 해시를 통해 무작위 버킷에 할당되며, 단어 벡터는 이러한 버킷과의 공현도를 세는 방식으로 구성된다. 이 방법은 GloVe나 CBOW와 같은 신경망 기반 방법과 경쟁 가능한 성능을 달성하면서도 훨씬 더 빠르고 계산 비용이 훨씬 적게 든다.

ABSTRACT

We propose a new fast word embedding technique using hash functions. The method is a derandomization of a new type of random projections: By disregarding the classic constraint used in designing random projections (i.e., preserving pairwise distances in a particular normed space), our solution exploits extremely sparse non-negative random projections. Our experiments show that the proposed method can achieve competitive results, comparable to neural embedding learning techniques, however, with only a fraction of the computational complexity of these methods. While the proposed derandomization enhances the computational and space complexity of our method, the possibility of applying weighting methods such as positive pointwise mutual information (PPMI) to our models after their construction (and at a reduced dimensionality) imparts a high discriminatory power to the resulting embeddings. Obviously, this method comes with other known benefits of random projection-based techniques such as ease of update.

연구 동기 및 목표

• 복잡한 최적화를 피하는 단순하고 효율적인 신경망 기반 단어 표현 학습의 대안을 개발하기 위해.
• 해시를 통한 랜덤 프로젝션을 통해 단어 공현의 분포적 패턴을 언어학적으로 의미 있는 방식으로 포착할 수 있는지 탐색하기 위해.
• 내재적 평가(예: 단어 유사도) 및 외재적 평가(예: 감성 분류)를 포함한 다양한 자연어 처리 작업에서의 성능 평가하기.
• 기존 방법들과 비교해 계산 비용과 메모리 사용량을 크게 줄였음에도 불구하고 경쟁 가능한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 각 문맥 단어는 해시 함수를 사용해 무작위 버킷에 할당되며, 특히 해시 코드의 모듈로 연산을 통해 원하는 벡터 차원 수 $ m $ 에 따라 결정된다.
• 각 단어 $ w $ 에 대해 알고리즘은 크기가 $ m $ 인 0으로 이루어진 벡터를 초기화한 후, $ w $ 와 함께 공현한 각 문맥 단어 $ c $ 에 대해 $ d = \text{abs}(\text{hash}(c) \mod m) $ 인 인덱스의 성분을 증가시킨다.
• 이 방법은 덧셈에 대한 곱셈의 분배법칙을 활용하여 랜덤 프로젝션을 통한 차원 축소의 형태로 프레임워크를 구성한다.
• 사용된 해시 함수는 제너릭 해시로, 짧은 단어에서 낮은 충돌률과 양호한 분포 특성을 보이며 선택되었다.
• 벡터 구성 후, 빈도를 정규화하고 분류 능력을 향상시키기 위해 PPMI 가중치를 적용한다. 이는 후속 작업에서의 성능 향상에 기여한다.
• 알고리즘은 매우 병렬 처리가 가능하고 스트림 기반으로도 유연하게 적용 가능하여, 최적화 문제를 해결하지 않더라도 효율적인 온라인 업데이트 및 분산 계산이 가능하다.

실험 결과

연구 질문

• RQ1 간단한 해시 기반 랜덤 프로젝션 방법이 내재적 평가와 외재적 평가 모두에서 최첨단 신경망 기반 방법과 경쟁 가능한 단어 벡터를 생성할 수 있는가?
• RQ2 문장 수준의 감성 분류와 같은 후속 자연어 처리 작업에서 제안된 방법의 성능이 GloVe와 CBOW와 비교해 어떻게 되는가?
• RQ3 기존의 공현도 계수 및 신경망 학습과 비교해 계산 비용과 메모리 사용량을 얼마나 줄일 수 있는가?
• RQ4 PPMI 가중치 적용이 제안된 프레임워크 내에서 학습된 단어 벡터의 품질을 크게 향상시키는가?
• RQ5 벡터 차원 수가 다양한 신경망 아키텍처에서 CBOW와 GloVe와 비교해 제안된 방법의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 대규모 영화 리뷰 데이터셋에서 외재적 평가에서 GloVe를 초월하여, CNN 모델을 사용할 경우 1000차원 벡터 표현으로 F1 점수 86.54를 기록했다.
• 1000차원 벡터를 사용할 경우, CNN 모델에서는 CBOW(85.14 F1)를 초월했지만, 낮은 차원에서 RNN 모델에서는 CBOW가 여전히 우월한 성능을 보였다.
• 무작위 색인보다 훨씬 빠르며, 공현도 하나당 하나의 덧셈 연산만 필요로 하여 무작위 색인의 최소 두 번 이상의 연산보다 효율적이다.
• 6,000개의 어휘를 가진 경우, PPMI 가중치가 적용된 벡터는 몇 초 내에 계산 가능하지만, 동일한 작업은 고차원 카운트 모델에서는 수 시간이 소요된다.
• 정확한 단어-단어 공현도를 저장하지 않고 버킷 카운트만 유지하기 때문에, 전통적인 공현도 계수보다 메모리 사용량이 훨씬 적다.
• 최적화를 피하고 있음에도 불구하고, 내재적 및 외재적 평가에서 GloVe와 CBOW와 경쟁 가능한 성능를 달성하여, 이 방법의 강건성과 효율성을 입증했다.