[논문 리뷰] Word2Vec: Optimal Hyper-Parameters and Their Impact on NLP Downstream Tasks

Tosin Adewumi, Foteini Liwicki외 1명|arXiv (Cornell University)|2020. 03. 23.

Topic Modeling참고 문헌 20인용 수 12

한 줄 요약

이 논문은 내재적(유사어 관계, WordSim) 및 외재적 자연어 처리 작업(NER, 감성 분석)에서 Word2Vec의 최적 하이퍼파라미터 조합을 경험적으로 규명하며, 성능이 작업에 따라 다름을 보이고, 높은 벡터 차원 수가 한계를 초과하면 성능이 악화됨을 시사한다. 놀랍게도, 더 작은 코퍼스가 원래의 1000억 단어 모델보다 후행 작업에서 더 뛰어난 성능을 보이며, 더 큰 데이터가 항상 더 나은 임bedding을 만든다는 가정에 도전한다.

ABSTRACT

Word2Vec is a prominent model for natural language processing (NLP) tasks. Similar inspiration is found in distributed embeddings for new state-of-the-art (SotA) deep neural networks. However, wrong combination of hyper-parameters can produce poor quality vectors. The objective of this work is to empirically show optimal combination of hyper-parameters exists and evaluate various combinations. We compare them with the released, pre-trained original word2vec model. Both intrinsic and extrinsic (downstream) evaluations, including named entity recognition (NER) and sentiment analysis (SA) were carried out. The downstream tasks reveal that the best model is usually task-specific, high analogy scores don't necessarily correlate positively with F1 scores and the same applies to focus on data alone. Increasing vector dimension size after a point leads to poor quality or performance. If ethical considerations to save time, energy and the environment are made, then reasonably smaller corpora may do just as well or even better in some cases. Besides, using a small corpus, we obtain better human-assigned WordSim scores, corresponding Spearman correlation and better downstream performances (with significance tests) compared to the original model, trained on 100 billion-word corpus.

연구 동기 및 목표

• 내재적(유사어 관계, WordSim) 및 외재적(NLP 평가: NER, 감성 분석) 평가를 위한 Word2Vec 하이퍼파라미터(차원 크기, 에포크 수, 윈도우 크기, 어휘 크기)의 최적 조합을 규명하기.
• 더 큰 코퍼스와 더 높은 임bedding 차원 수가 후행 NLP 작업에서 항상 더 나은 성능을 낼 것이라는 가정을 도전하기.
• 하이퍼파라미터 선택이 내재적(유사어 관계, WordSim) 및 외재적(NER, 감성 분석) 평가에 미치는 영향을 평가하기.
• 높은 유사어 관계 점수와 후행 작업 성능 간의 강한 상관관계가 없음을 입증하며, 작업에 특화된 최적화의 중요성을 강조하기.
• 더 작은 코퍼스로도 대규모 사전학습 데이터셋과 유사하거나 뛰어난 결과를 낼 수 있음을 보여주며, 에너지 및 시간 효율적인 학습을 촉진하기.

제안 방법

• Google News(1000억 단어), 더 작은 서브셋(1000억 단어), 그리고 새로운 더 작은 코퍼스(BW)에서 연속 스킵그램 및 CBOW 아키텍처를 사용해 Word2Vec 모델을 학습.
• 네 가지 하이퍼파라미터를 체계적으로 변화시켰다: 벡터 차원 크기(100에서 500까지), 학습 에포크 수(5–10), 윈도우 크기(4, 8), 어휘 크기. 히어라키컬 소프트맥스와 음성 샘플링을 모두 사용.
• 내재적 성능 평가를 위해 의미적 및 문법적 유사어 관계 작업(Google 유사어 관계 데이터셋)과 의미 유사도 평가(WordSim-353)를 사용.
• 외재적 평가로 명명된 실체 인식(GMB 데이터셋) 및 감성 분석(IMDb 데이터셋)을 수행하였으며, F1 점수, 정밀도, 재현율, 정확도를 측정.
• 성능 차이의 통계적 유의성을 평가하기 위해 부트스트랩 리샘플링과 95% 신뢰구간을 적용.
• 다양한 코퍼스에서의 유사어 관계 점수 추세를 바탕으로 최적의 차원 크기를 추정하기 위해 다항 보간법을 사용.

실험 결과

연구 질문

• RQ1 내재적 및 외재적 NLP 평가를 위한 Word2Vec 하이퍼파라미터(차원, 에포크 수, 윈도우 크기, 어휘 크기)의 최적 조합은 무엇인가?
• RQ2 일정 수준을 초과해 벡터 차원 수를 늘리면 후행 NLP 작업에서 성능이 악화되는가?
• RQ3 더 작은 코퍼스가 후행 NLP 작업에서 원래의 1000억 단어 Google News 데이터셋을 초월할 수 있는가?
• RQ4 높은 내재적 유사어 관계 점수와 NER 및 감성 분석과 같은 후행 작업에서의 높은 성능 간 상관관계는 어느 정도인가?
• RQ5 큰 코퍼스와 작은 코퍼스에서 학습된 모델 간 성능 차이가 유의미한가? 그리고 그 차이는 통계적으로 유의미한가?

주요 결과

• NER에 가장 뛰어난 성능을 보인 Word2Vec 모델은 BW w4s1h0 구성으로, 개발 세트에서 F1 점수 0.679, 테스트 세트에서 0.677을 기록하여 원래의 1000억 단어 모델을 능가했다.
• 감성 분석에서는 SW w8s0h0 모델이 개발 세트에서 F1 점수 0.798, 테스트 세트에서 0.799를 기록하여 기본 PyTorch 임베딩과 유사한 성능을 보이며 원래의 1000억 단어 모델을 능가했다.
• 유사어 관계 작업 성능과 후행 작업 성능 간 상관관계가 없었다: 1000억 단어 모델은 높은 유사어 관계 점수를 기록했지만 감성 분석에서는 성능이 열악했으며(개발 세트에서 F1 = 0.384), 이는 유사어 관계 점수만으로 후행 작업 성능을 예측할 수 없음을 시사한다.
• 벡터 차원 수가 300–400를 초과해 증가할수록 유사어 관계 작업과 후행 작업 양쪽에서 성능이 떨어지며, 이는 성능의 포화점이 있음을 나타낸다.
• 더 작은 BW 코퍼스는 원래의 1000억 단어 모델보다 더 높은 WordSim 점수(Spearman 상관계수)와 더 나은 후행 작업 성능을 기록했으며, 감성 분석의 F1 점수 차이에 대한 95% 신뢰구간은 [0.274, 0.504]로 통계적으로 유의미함을 확인했다.
• 부트스트랩 유의성 검정을 통해 NER에서 1000억 단어 모델과 BW w4s1h0 모델 간 성능 차이가 통계적으로 유의미하지 않음을 확인했다(CI: [-0.008, 0.01]), 그러나 감성 분석에서는 유의미한 차이가 있었다(CI: [0.274, 0.504])로 근본가설을 기각함.