[논문 리뷰] Generalizing Word Embeddings using Bag of Subwords

Jinman Zhao, Sidharth Mudgal외 1명|arXiv (Cornell University)|2018. 09. 12.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 어휘에 포함되지 않은(Out-of-Vocabulary, OOV) 단어에 대해 사전에 학습된 단어 벡터를 일반화할 수 있도록, 단어를 문자 n-그램(Substring)의 집합으로 간주하는 서브워드 수준의 단어 임베딩 모델인 Bag-of-Substring(BoS)을 제안한다. 이 방법은 고정된 어휘에서 서브워드-벡터 관계를 학습하여, 문맥 정보 없이도 효과적인 형태소 일반화를 달성하며, 23개 언어에서 단어 유사도 및 동시 POS/모르포구문 태깅 작업에서 최고 성능을 기록한다.

ABSTRACT

We approach the problem of generalizing pre-trained word embeddings beyond fixed-size vocabularies without using additional contextual information. We propose a subword-level word vector generation model that views words as bags of character $n$-grams. The model is simple, fast to train and provides good vectors for rare or unseen words. Experiments show that our model achieves state-of-the-art performances in English word similarity task and in joint prediction of part-of-speech tag and morphosyntactic attributes in 23 languages, suggesting our model's ability in capturing the relationship between words' textual representations and their embeddings.

연구 동기 및 목표

• 고정 어휘 기반 단어 임베딩에서 어휘에 포함되지 않은(OOV) 단어 문제를 해결하기 위해, 사전에 학습된 벡터를 드물거나 미리보지 않은 단어로 일반화하는 것을 목표로 한다.
• 문맥 정보에 의존하지 않고, 단어의 표기 형태와 사전에 학습된 벡터만을 사용하여 OOV 단어의 벡터를 추론하는 방법을 개발하는 것.
• 서브워드 구성요소를 통해 단어의 형태소 및 문법적 특징을 포착하여, 드문 단어나 복합어가 많은 언어의 단어에 대해 일관된 벡터 추정이 가능하도록 하는 것.
• 다양한 언어, 특히 자원이 부족하거나 형태소가 풍부한 환경에서 모델의 의미적 및 문법적 특징 일반화 능력을 평가하는 것.
• 기존의 서브워드 또는 RNN 기반 OOV 임베딩 방법에 비해 단순하고 효율적이며 문맥에 의존하지 않는 대안을 제공하는 것.

제안 방법

• 모델은 각 단어를 문자 n-그램(길이 n인 부분 문자열)의 집합으로 간주하여, 단어를 서브워드 단위의 집합으로 표현한다.
• 사전에 학습된 임베딩 세트(예: Polyglot)에서 어휘에 포함된 단어들로부터 유도된 룩업 테이블을 사용해 서브워드 n-그램에서 단어 벡터로의 매핑을 학습한다.
• 추론 과정에서 OOV 단어의 학습된 서브워드 벡터를 평균화하거나 가중치를 적용한 조합을 통해 최종 단어 벡터를 생성한다.
• 모델은 어휘에 포함된 단어들에 대해 예측된 벡터와 진짜 벡터 간의 차이를 최소화하는 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 모델은 순환 구조나 어텐션 기반 아키텍처를 피함으로써 효율성을 유지하도록 설계되어 있으며, 빠르고 확장 가능한 성능을 갖는다.
• 형태소적 구성성의 원리를 활용하여 OOV 단어로 일반화되며, 형태소적 구조가 의미적 및 문법적 정보를 담고 있다고 가정한다.

실험 결과

연구 질문

• RQ1 문맥 정보를 사용하지 않고도 서브워드 수준의 모델이 사전에 학습된 단어 임베딩을 OOV 단어로 일반화할 수 있는가?
• RQ2 백터 오브 서브워드 접근 방식이 기존의 서브워드 또는 RNN 기반 방법에 비해 단어의 형태소적 및 문법적 관계를 얼마나 잘 포착하는가?
• RQ3 모델이 다양한 언어에서 내재적(단어 유사도) 및 외재적(POS 태깅) 평가에서 최고 성능(SOTA)을 달성하는가?
• RQ4 모델의 성능이 형태소적 풍부성 또는 언어 가문의 특성에 얼마나 의존하는가?
• RQ5 다양한 복합어 수준과 어간 변화 복잡도를 가진 언어 간에 모델이 일관되게 일반화되는가?

주요 결과

• BoS 모델은 동일한 설정에서 기존의 서브워드 수준 모델들보다 더 높은 성능을 보이며, 영어 단어 유사도 작업에서 최고 성능을 기록했다.
• 23개 언어에서 동시 POS 태깅 및 모르포구문 속성 예측 작업에서 BoS는 MIMICK 및 무작위 기반 모델보다 더 높은 마이크로 F1 점수를 기록했으며, 일부 언어에서는 최대 0.125 F1 포인트의 향상을 보였다.
• 특히 터키어, 인도네시아어, 핀란드어와 같은 복합어가 많은 언어에서 뚜렷한 성능 향상을 보이며, 형태소적 구조를 효과적으로 포착함을 시사한다.
• 영어, 스웨덴어, 스페인어와 같은 Germanic 및 Romance 언어에서는 MIMICK를 지속적으로 능가했으며, 평균적으로 0.03~0.06의 F1 점수 향상을 기록했다.
• 영어 POS 태깅 작업에서 BoS는 마이크로 F1 점수 0.947을 기록했으며, 동일한 평가 설정에서 MIMICK보다 0.089 F1 포인트 높은 성능을 보였다.
• 모델는 새로운 단어로도 효과적으로 일반화되며, 문맥 없이도 서브워드 조합성이 언어 지식을 인코딩할 수 있음을 보여준다.