[논문 리뷰] A Joint Model for Word Embedding and Word Morphology

Kris Cao, Marek Rei|arXiv (Cornell University)|2016. 06. 08.

Topic Modeling참고 문헌 23인용 수 6

한 줄 요약

이 논문은 단어의 맥락 예측 능력에 기반해 단어 조각에 가중치를 부여함으로써 어휘 임베딩과 형태소 분할을 동시에 학습하는 통합 모델을 제안한다. 이 모델은 문법적 유사성 작업에서 어휘 수준 모델보다 우수한 성능을 보이며, 문자 수준에서 형태소를 명시적으로 모델링함으로써 희귀하고 형태적으로 복잡한 단어에 대해 더 나은 임베딩을 생성한다.

ABSTRACT

This paper presents a joint model for performing unsupervised morphological analysis on words, and learning a character-level composition function from morphemes to word embeddings. Our model splits individual words into segments, and weights each segment according to its ability to predict context words. Our morphological analysis is comparable to dedicated morphological analyzers at the task of morpheme boundary recovery, and also performs better than word-based embedding models at the task of syntactic analogy answering. Finally, we show that incorporating morphology explicitly into character-level models help them produce embeddings for unseen words which correlate better with human judgments.

연구 동기 및 목표

• 희귀어 또는 OOV(Out-of-Vocabulary) 단어에 대한 어휘 임베딩 모델의 희소성 문제를 형태소를 명시적으로 모델링하여 해결한다.
• 단어를 원자 단위로 취급하는 데서 비롯하는 한계를 형태소로부터 조합적 표현을 학습함으로써 극복한다.
• 문자 수준의 모델링과 형태소 분할을 조합함으로써 예측 불가능한 단어로의 일반화 성능을 향상시킨다.
• 형태소와 임베딩의 공동 학습이 임베딩 공간 내에서 더 나은 의미적·문법적 규칙성을 이끌어낸다는 것을 입증한다.
• 모델의 성능을 형태소 분석기로서 평가하고, 형태적으로 풍부한 희귀어로의 일반화 능력을 점검한다.

제안 방법

• 모델은 입력 단어를 후보 조각으로 분할하고, 각 조각이 주변 맥락 단어를 예측하는 데 기여하는 능력에 따라 가중치를 할당한다.
• 어휘 표현은 가중된 형태소 조각들을 미분 가능한 어텐션 메커니즘을 사용해 조합함으로써 형성된다.
• 모델은 맥락 단어를 예측할 확률를 최대화하도록 엔드 투 엔드로 훈련되며, 분포 가설을 활용한다.
• 외부 형태소 분석기 없이 형태소 분할을 학습하므로, 모델은 비지도 학습이며 언어에 종속되지 않는다.
• 아키텍처는 문자 수준 표현을 사용하며, 분할 경계를 통해 역전파가 가능하도록 가중 가능한 분할 메커니즘을 포함한다.
• 훈련 후, 모델은 알려진 형태소로 분해된 예측 불가능한 단어의 임베딩을 조합함으로써 새로운 단어로의 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 외부 형태소 분석기를 의존하지 않고도 의미 있는 형태소 분할을 통합 모델이 학습할 수 있는가?
• RQ2 문자 수준 모델에서 형태소를 명시적으로 모델링하면, 표준 문자 수준 모델 대비 문법적 유사성 작업 성능에서 향상되는가?
• RQ3 형태적으로 풍부한 희귀어나 예측 불가능한 단어에 대해, 어휘 수준 및 문자 수준 기준 모델 대비 모델의 일반화 능력은 어느 정도인가?
• RQ4 형태소 접두어·접미어가 학습된 임베딩 공간에서 선형 벡터 이동으로 대응되는 정도는 어느 정도인가?
• RQ5 모델의 단어 분할 능력이 인간의 형태소 구조 인식 평가와 얼마나 관련이 있는가?

주요 결과

• 모델은 형태소가 풍부한 단어에서 전용 형태소 분석기와 유사한 형태소 경계 복원 정확도를 달성한다.
• Google 유사성 데이터셋에서 모델은 문법적 유사성 작업에서 경쟁적인 성능을 보이며, 예를 들어 형용사에서副사로의 변환 유형에서 51.3%의 정확도를 기록하여 문자 수준 기준 모델을 능가한다.
• 의미적 유사성 작업에서는 어휘 수준 모델 대비 성능이 열등하여 깊은 의미 관계를 포착하는 데 한계가 있음을 시사한다.
• 표준 문자 수준 모델 대비 예측 불가능한 단어의 임베딩을 더 나은 방식으로 생성하며, 인간의 판단과의 상관관계가 향상된다.
• 희귀어를 필터링한 후, 형태적으로 복잡한 단어의 가장 가까운 이웃 단어들이 임베딩 공간에서 더 의미적으로 일관성이 있음을 확인했으며, 이는 희귀어 표현에서 철자적 편향이 존재함을 시사한다.
• 모델는 접어붙임이 임베딩 공간에서 선형 이동으로 대응됨을 학습했으며, 이는 형태소 규칙성을 포착할 수 있음을 보여준다.