[논문 리뷰] Unsupervised Morphological Expansion of Small Datasets for Improving Word Embeddings

Syed Sarfaraz Akhtar, Arihant Gupta외 3명|arXiv (Cornell University)|2017. 11. 15.

Topic Modeling참고 문헌 18인용 수 3

한 줄 요약

이 논문은 저자원 언어 데이터셋의 형태소 확장을 통해 인위적 문장을 생성하고, 이를 토대로 학습함으로써 어휘 표현을 향상시키는 비지도, 언어에 종속되지 않는 방법을 제안한다. 이러한 합성 문장으로 학습함으로써 희귀어 및 저빈도어의 표현을 향상시켜, 특히 히브리어나 독일어와 같은 형태소가 풍부한 언어에서 더 큰 코퍼스로 학습된 모델들과 비교해 유사한 성능을 달성한다.

ABSTRACT

We present a language independent, unsupervised method for building word embeddings using morphological expansion of text. Our model handles the problem of data sparsity and yields improved word embeddings by relying on training word embeddings on artificially generated sentences. We evaluate our method using small sized training sets on eleven test sets for the word similarity task across seven languages. Further, for English, we evaluated the impacts of our approach using a large training set on three standard test sets. Our method improved results across all languages.

연구 동기 및 목표

• 저자원 및 형태소가 풍부한 언어를 위한 어휘 표현 학습 시 데이터 희소성 문제를 해결한다.
• 외부 형태소 분석기 의존 없이 희귀어 및 등장하지 않은 어휘의 표현을 향상시킨다.
• 형태소 규칙을 이용해 인위적 학습 문장을 생성하는 언어에 종속되지 않은 비지도 기법을 개발한다.
• 형태소 확장이 훨씬 더 큰 코퍼스로 학습된 표현과 유사한 성능을 낼 수 있음을 입증한다.
• 저자원 환경에서 평가를 지원하기 위해 새로운 히нд어 어휘 유사도 데이터셋(Hin-WS235)을 공개한다.

제안 방법

• 학습 코퍼스에 있는 단어에 형태소 변환(예: 접미사, 접두사 추가)을 적용하여 비지도 형태소 확장을 통해 인위적 문장을 생성한다.
• 어휘 표현을 학습하기 위해 음성-스킵 모델(Skip-gram)을 사용하고, 고정된 초모수(d=500, min_count=5)를 적용한다.
• 희귀어나 등장하지 않은 어휘의 표현을 복구하기 위해 계층적 단어 검색 전략('Morph' 단계)을 구현한다. 이는 빈도가 높은 형태소 변형어를 검색함으로써 수행된다.
• 직접 검색에 실패했을 경우 자소문자 및 길이 기반 히ュ리스틱을 적용해 표현 복구를 향상시킨다.
• 여러 형태소 변형어가 존재할 경우 빈도와 길이를 히어리스틱으로 사용해 우선순위를 정한다.
• 형태소 확장과 어휘 표현 학습을 통합하여 저빈도어 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 작은 데이터셋에 대한 형태소 확장을 통해 일곱 개의 언어, 특히 형태소가 풍부한 언어에서 어휘 표현 품질을 향상시킬 수 있는가?
• RQ2 형태소 규칙에 기반한 인위적 문장 생성 기법이 훨씬 더 큰 코퍼스로 학습된 최신 기술 모델과 비교해 어휘 유사도 성능에서 어떻게 성과를 내는가?
• RQ3 형태소 규칙에 기반한 인위적 문장 생성이 희귀어 및 등장하지 않은 어휘의 데이터 희소성 문제를 완화하는가?
• RQ4 왜 이 방법은 아랍어에서 성능이 떨어지며, 이러한 제한성에 기여하는 언어학적 요인은 무엇인가?
• RQ5 형태소 확장이 벡터 공간 내에서의 유사성 규칙성(Analogical Regularity)을 어느 정도 유지하는가?

주요 결과

• 이 방법은 일곱 개의 언어에서 작은 데이터셋에 대해 어휘 유사도 성능을 크게 향상시켰으며, 형태소가 풍부한 언어인 히브리어와 독일어에서 가장 큰 향상이 관찰되었다.
• 영어에서는 SG + Exp + Morph 조합으로 스탠포드 희귀어(RW) 데이터셋에서 47.9점을 기록하여 기준 모델(SG)의 42.1점보다 뛰어나며, 420억 토큰으로 학습된 모델의 성능과도 유사하다.
• RG65 데이터셋에서는 SG + Exp + Morph로 80.4의 정확도를 기록했으며, 420억 토큰으로 학습된 GloVe 모델(82.9)보다는 낮지만, 사용한 토큰 수가 10억에 불과하여 유의미한 성능 향상을 보였다.
• WS353 데이터셋에서는 확장 적용으로 정확도가 약간 감소했으며, 이는 문법적으로 잘못된 인위적 문장으로 인해 유사성 규칙성이 손상되었기 때문일 것이다.
• 빈도와 길이 히어리스틱을 적용했을 경우, 형태소 변형어 검색을 통한 희귀어 표현 복구 능력이 뛰어나게 나타났다.
• 현재의 접두사/접미사 기반 확장 전략이 복잡한 중위화(Infixation) 패턴을 잘 처리하지 못함에 따라 아랍어에서는 성능 향상이 덜 났다.