[논문 리뷰] Enriching Word Vectors with Subword Information

Piotr Bojanowski, Édouard Grave외 2명|arXiv (Cornell University)|2016. 07. 15.

Topic Modeling참고 문헌 35인용 수 438

한 줄 요약

하위단어 인식 단어 임베딩 모델을 도입하여 단어를 해시된 문자 n-그램 벡터의 합으로 표현하고, 보지 못한 단어에 대한 표현을 가능하게 하며 형태가 풍부한 언어에서 성능을 향상시킵니다.

ABSTRACT

Continuous word representations, trained on large unlabeled corpora are useful for many natural language processing tasks. Popular models that learn such representations ignore the morphology of words, by assigning a distinct vector to each word. This is a limitation, especially for languages with large vocabularies and many rare words. In this paper, we propose a new approach based on the skipgram model, where each word is represented as a bag of character $n$-grams. A vector representation is associated to each character $n$-gram; words being represented as the sum of these representations. Our method is fast, allowing to train models on large corpora quickly and allows us to compute word representations for words that did not appear in the training data. We evaluate our word representations on nine different languages, both on word similarity and analogy tasks. By comparing to recently proposed morphological word representations, we show that our vectors achieve state-of-the-art performance on these tasks.

연구 동기 및 목표

• 전통적인 단어 임베딩이 단어 형태소를 무시하는 한계를 다룬다.
• 하위단어 정보를 활용해 단어 간 매개변수를 공유하고 희귀/미지단어를 더 잘 표현한다.
• 형태가 풍부한 언어에 대한 이점을 입증하기 위해 여러 언어와 태스크에서 평가한다.

제안 방법

• 서브워드 정보를 포함하도록 스킵그램에 음수 표본화를 확장한다.
• 경계 기호를 가진 문자 n-그램의 가방으로 각 단어를 표현하고 이들의 벡터를 합쳐 단어 표현을 형성한다.
• 각 n-그램에 벡터를 연결하고 SGD with negative sampling으로 학습한다.
• 메모리를 한정하기 위해 해싱을 사용해 n-그램을 고정 집합의 벡터로 매핑한다.
• 9개 언어의 대규모 위키피디아 말뭉치에서 학습하고 OOV 처리는 n-그램 벡터의 합으로 수행한다.

실험 결과

연구 질문

• RQ1 문자 n-그램 하위단어 정보를 도입하면 언어 전반의 단어 유사도 및 아날로지 성능이 향상되는가?
• RQ2 하위단어 기반의 단어 표현은 형태소 인식 기반 기준선 및 기존 하위단어 방법과 비교해 어떤 차이가 있는가?
• RQ3 OOV 단어를 n-그램 벡터의 합으로 효과적으로 표현할 수 있는가, 그리고 이는 다운스트림 태스크에 어떤 영향을 미치는가?
• RQ4 학습 데이터 규모 및 n-그램 범위가 특히 형태가 풍부한 언어에서 성능에 미치는 영향은 무엇인가?

주요 결과

• 하위단어가 보강된 벡터(sisg)가 대부분의 단어 유사도 데이터셋에서 기준선보다 우수하고 OOV 단어 처리 성능을 향상시킨다.
• 이 접근법은 강력한 구문(통사) 아날로지 성능을 제공하며 독일어와 체코어 같은 형태소가 풍부한 언어에서 현저한 이점을 보인다.
• 형태소 기반 방법과 비교했을 때 단순한 n-그램 합 표현이 경쟁력 있으며, 특히 합성어 및 강한 굴절형 언어에서 종종 우수하다.
• 학습 데이터가 제한적일 때도 성능이 견고하게 유지되어 저자원 환경에서의 실용적 이점을 입증한다.
• Longer n-gram 범위를 확장하면 의미적 측면의 아날로지에 도움이 되지만 언어 간 트레이드오프가 발생한다.
• 언어 모델링 실험에서 하위단어 인식 벡터로 초기화할 때 혼합형(슬라브어 포함) 언어에서 특히 우수한 혼합성 당황도(perplexity)가 감소한다.