[논문 리뷰] Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks

Nathan Siegle Hartmann, Erick Fonseca외 4명|arXiv (Cornell University)|2017. 08. 20.

Topic Modeling참고 문헌 13인용 수 91

한 줄 요약

이 논문은 포르투갈어(BR 및 EU) 용 31개의 단어 임베딩 모델을 GloVe, Word2Vec, Wang2Vec, FastText를 사용해 학습시키고, 이를 내부적 유추(analogies)와 외부적 POS 태깅 및 문장 유사도에서 평가하며, 유추가 하위 작업 성능의 예측에 좋지 않음을 보여주고 Wang2Vec가 전반적으로 강력한 결과를 제공합니다.

ABSTRACT

Word embeddings have been found to provide meaningful representations for words in an efficient way; therefore, they have become common in Natural Language Processing sys- tems. In this paper, we evaluated different word embedding models trained on a large Portuguese corpus, including both Brazilian and European variants. We trained 31 word embedding models using FastText, GloVe, Wang2Vec and Word2Vec. We evaluated them intrinsically on syntactic and semantic analogies and extrinsically on POS tagging and sentence semantic similarity tasks. The obtained results suggest that word analogies are not appropriate for word embedding evaluation; task-specific evaluations appear to be a better option.

연구 동기 및 목표

• PT-BR 및 PT-EU 변형 전반에서 강건한 포르투갈어 단어 표현의 필요성에 대한 동기 부여.
• 연구 활용을 위한 대규모 공개 포르투갈어 단어 임베딩 모델 세트 제공.
• 임베딩의 고유적(intrinsic) 평가(유추)와 외적 평가(POS 태깅, 문장 유사도) 모두를 평가.
• 대형 코퍼스 크기와 모델 선택이 하류 작업의 임베딩 품질에 미치는 영향을 조사.

제안 방법

• 네 가지 알고리즘(GloVe, Word2Vec, Wang2Vec, FastText)을 사용해 31개의 단어 임베딩 모델을 학습했다.
• PT-BR 및 PT-EU 텍스트를 결합한 대규모 다장르 포르투갈어 코퍼스를 구성했다.
• PT-BR 및 PT-EU에서 구문적·의미적 유추에 대해 임베딩을 고유적으로 평가했다.
• POS 태깅 및 문장 의미 유사도 작업에서 임베딩을 외부적으로 평가했다.
• 각 모델에 대해 50, 100, 300, 600, 1000 차원의 다양한 차원수를 탐구했다.

실험 결과

연구 질문

• RQ1 다른 포르투갈어 임베딩 모델(Pt-BR과 Pt-EU 전반)이 내부적 유추 작업과 외부적 NLP 작업에서 어떤 성능 차이를 보이는가?
• RQ2 내부적 유추 결과가 포르투갈어의 POS 태깅 및 문장 유사도와 같은 하류 작업에 상관관계가 있는가?
• RQ3 어떤 모델링 접근법(GloVe, Word2Vec, Wang2Vec, FastText)과 어떤 차원 수가 변형 전반에서 포르투갈어 처리에 최적의 지원을 제공하는가?
• RQ4 브라질 Portuguese와 European Portuguese를 하나의 대형 코퍼스에 혼합하는 것이 하류 작업 성능을 개선하는가 아니면 방해하는가?

주요 결과

• GloVe는 일반적으로 PT-BR과 PT-EU 변형 모두에 대해 고유한 구문적·의미적 유추 평가에서 최상의 성능을 보인다.
• FastText는 구문적 유추에서 강력한 성능을 발휘하며, Wang2Vec는 단어 순서 처리 방식 덕분에 전반적으로 뛰어난 성능을 보이는 경우가 많다.
• 의미적 유추의 경우 GloVe가 선두를 달리며, Wang2Vec가 경쟁력 있는 결과를 제공한다.
• 외부적 POS 태깅에서 Wang2Vec(특히 300차원 Skip-Gram)이 가장 높은 정확도를 달성하여 때때로 Word2Vec 및 다른 방법을 능가한다.
• 의미적 유사도(ASSIN 작업)에서는 최상의 임베딩 결과가 항상 유추 성능과 일치하지 않으며, 고유적 유추와 하류 NLP 작업 간 상관관계가 부족함을 시사한다.
• 전반적으로 이 연구는 유추 기반 평가가 실제 NLP 작업을 위한 임베딩 선택에 신뢰할 만한 지표가 아닐 수 있음을 시사하며, 작업별 평가가 선호된다.