[논문 리뷰] Simple and Effective Dimensionality Reduction for Word Embeddings

Vikas Raunak|arXiv (Cornell University)|2017. 08. 11.

Topic Modeling참고 문헌 9인용 수 15

한 줄 요약

이 논문은 후처리(PPA)와 주성분분석(based PCA)을 조합하여 저차원 단어 임베딩을 생성하는 단순하면서도 효과적인 방법을 제안한다. PPA를 PCA 이전에 적용함으로써, 12개의 단어 유사도 벤치마크에서 원래의 고차원 임베딩과 동일하거나 더 높은 성능을 달성하면서도 임베딩 크기를 50% 줄였다.

ABSTRACT

Word embeddings have become the basic building blocks for several natural language processing and information retrieval tasks. Pre-trained word embeddings are used in several downstream applications as well as for constructing representations for sentences, paragraphs and documents. Recently, there has been an emphasis on further improving the pre-trained word vectors through post-processing algorithms. One such area of improvement is the dimensionality reduction of the word embeddings. Reducing the size of word embeddings through dimensionality reduction can improve their utility in memory constrained devices, benefiting several real-world applications. In this work, we present a novel algorithm that effectively combines PCA based dimensionality reduction with a recently proposed post-processing algorithm, to construct word embeddings of lower dimensions. Empirical evaluations on 12 standard word similarity benchmarks show that our algorithm reduces the embedding dimensionality by 50%, while achieving similar or (more often) better performance than the higher dimension embeddings.

연구 동기 및 목표

• 특히 메모리가 제한된 장치에서 사전에 학습된 단어 임베딩의 높은 메모리 점유율 문제를 해결한다.
• 차원 감소 이전에 후처리를 통해 단어 임베딩의 품질과 구분 능력을 향상시킨다.
• 원래 차원의 절반으로 감소시키면서도 의미적 성능을 유지하거나 향상시키는 차원 감소 기법을 개발한다.
• 하향류 작업에서 더 낮은 차원의 임베딩이 더 높은 차원의 것보다 우수하거나 동등한 성능을 낼 수 있음을 입증한다.

제안 방법

• 문헌 [9]의 후처리 알고리즘(PPA)을 사용하여 사전에 학습된 단어 임베딩에서 주요 평균 및 주성분(D=7)을 제거한다.
• 후처리된 임베딩에 대해 PCA를 수행하여 차원을 N = d/2로 감소시킨다. 여기서 d는 원래 차원이다.
• 표준 PCA 알고리즘을 사용하여 단어 벡터를 후처리된 데이터의 첫 N개 주성분에 투영한다.
• 후처리 단계를 PCA 이전에 적용하여 파ip라인의 초기 단계에서 주요이고 구분 능력이 없는 방향을 조기에 제거한다.
• 일致하고 효율적인 계산을 위해 scikit-learn의 PCA 구현을 사용한다.
• 여러 사전에 학습된 임베딩(GloVe, fastText)과 다양한 차원 수준(300D, 200D, 100D)에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 후처리와 PCA 기반 차원 감소를 조합하면 성능을 유지하거나 향상시키면서도 저차원 단어 임베딩을 얻을 수 있는가?
• RQ2 후처리를 PCA 이전에 적용하는 것이 이후에 적용하거나 전혀 적용하지 않는 것보다 더 좋은 성능을 낼 수 있는가?
• RQ3 표준 단어 유사도 벤치마크에서 150차원 임베딩의 성능은 300차원 임베딩과 비교해 어떻게 되는가?
• RQ4 원래 차원의 절반으로 차원 감소를 수행해도 단어 임베딩의 의미적 품질을 유지하거나 향상시킬 수 있는가?
• RQ5 제안된 방법은 다양한 사전에 학습된 임베딩 유형(GloVe, fastText)과 초기 차원에 대해 일반화 가능한가?

주요 결과

• 제안된 알고리즘(Algo-N)은 단어 임베딩 차원을 50% 줄였지만, 12개의 단어 유사도 벤치마크 중 7개에서 원래의 300D 임베딩과 동일하거나 더 높은 성능을 달성했다.
• 12개의 데이터셋에서 Algo-150D는 원래의 300D 임베딩보다 7개의 작업에서 성능이 뛰어나며, 모든 데이터셋 평균에서 2.74% 향상되었다.
• 100D와 200D의 GloVe 임베딩에 대해 각각 평균 2.6%와 3%의 성능 향상을 달성했으며, Algo-100D는 원래의 100D GloVe 임베딩보다 평균 6% 높은 성능을 보였다.
• 기본 방법(PCA, PCA+P, P+PCA)보다 일관되게 뛰어난 성능을 보였으며, 특히 감소 과정에서 의미적 품질을 잘 유지했다.
• 후처리된 임베딩에서 상위 20개 주성분이 설명하는 분산은 더 균형 잡혀 있어, 주요이고 구분 능력이 없는 방향의 영향이 감소했다.
• 다양한 임베딩 유형과 초기 차원에 대해 강건하게 작동했으며, 200D에서 100D로 감소시킬 때도 일관된 성능 향상을 보였다.