[논문 리뷰] Evaluation of Morphological Embeddings for English and Russian Languages

Vitaly Romanov, Albina Khusainova|arXiv (Cornell University)|2021. 03. 11.

Topic Modeling참고 문헌 21인용 수 6

한 줄 요약

이 논문은 영어와 러시아어에서 형태학적 단어 임베딩(MorphGram)을 SkipGram과 FastText와 비교하여 평가한다. 내재적 평가(BATS, 유사성 유추)와 하류 작업(품사 태깅, 구문 분할, 다국어 맵핑)을 사용한다. 결과적으로 MorphGram은 평균적으로 SkipGram과 FastText 사이의 성능을 보이며, 모든 작업에서 일관된 향상이 없어, 이 설정에서는 형태학적 인식 임베딩에 안정적인 이점이 없다는 것을 시사한다.

ABSTRACT

This paper evaluates morphology-based embeddings for English and Russian languages. Despite the interest and introduction of several morphology-based word embedding models in the past and acclaimed performance improvements on word similarity and language modeling tasks, in our experiments, we did not observe any stable preference over two of our baseline models - SkipGram and FastText. The performance exhibited by morphological embeddings is the average of the two baselines mentioned above.

연구 동기 및 목표

• 영어와 러시아어에서 형태학적 단어 임베딩이 내재적 및 하류 NLP 작업 성능을 향상시키는지 평가하기.
• 기존 기준 모델인 SkipGram과 FastText와 비교하여 형태학적 인식 모델인 MorphGram을 평가하기.
• 형태학적 정보가 단어 유사성, 유추, 품사 태깅, 구문 분할, 다국어 임베딩 맵핑에 미치는 영향 평가하기.
• 러시아어와 같이 자원이 적거나 형태학적으로 풍부한 환경에서 형태학적 임베딩이 이점을 제공하는지 확인하기.
• 서브워드 n-그램 모델링을 초월해 형태소 수준의 조합이 표현 품질을 향상시키는지 테스트하기.

제안 방법

• Morfessor를 통해 형태소 수준의 분할을 얻고, 그 형태소 벡터를 합산하여 MorphGram을 SkipGram 목표로 훈련한다.
• 내재적 의미 및 문법적 유사성 평가를 위해 BATS 데이터셋과 유추 작업을 사용한다.
• 초기 사전을 사용해 영어와 러시아어 임베딩 공간을 정렬하기 위해 감독형 단어 임베딩 맵핑(vecmap)을 적용한다.
• 단어 임베딩만 입력 특징으로 사용하는 간단한 CNN 기반 모델을 품사 태깅 및 구문 분할에 대해 훈련한다.
• Conll2000(영어) 및 458개 품사 태그를 가진 러시아어 코퍼스에서 훈련을 수행하며, 고정된 에포크 수(영어는 50, 러시아어는 20)로 학습한다.
• MUSE에서 제공한 사전을 사용해 다국어 맵핑 성능을 측정하기 위해 1-NN 및 10-NN 정확도를 사용한다.

실험 결과

연구 질문

• RQ1 단어 임베딩에 형태학적 분할을 통합하면, 내재적 평가에서 SkipGram과 FastText에 비해 일관된 성능 향상이 이루어지는가?
• RQ2 형태학적 임베딩은 영어와 러시아어의 하류 작업(예: 품사 태깅 및 구문 분할)에서 어떻게 성능을 내는가?
• RQ3 형태학적 임베딩은 영어와 러시아어 간의 다국어 단어 임베딩 맵핑을 향상시킬 수 있는가?
• RQ4 러시아어와 같이 형태학적으로 풍부한 언어에서, 형태학적 모델링이 서브워드 n-그램 모델링(FastText)보다 측정 가능한 이점을 제공하는가?
• RQ5 다양한 평가 유형에서 형태학적 임베딩이 의미적(SkipGram) 또는 문자 기반(FastText) 모델을 능가하거나 최소한 그 수준을 유지하는가?

주요 결과

• BATS 데이터셋에서 영어 유추 유추 작업에서 MorphGram은 32.71%의 정확도를 기록했으며, SkipGram(29.67%)과 FastText(33.33%) 사이의 중간 성능을 보였다.
• 영어 문법적 유추에서 MorphGram은 61.16%의 점수를 기록했으며, SkipGram(55.88%)과 FastText(75.10%) 사이의 중간 성능을 보였다.
• 러시아어 의미적 유추에서 MorphGram은 34.69%의 점수를 기록했으며, SkipGram(39.11%)과 FastText(25.59%) 사이의 중간 성능을 보였다.
• 다국어 맵핑(ru-en)에서 MorphGram은 1-NN 정확도 53.51%를 기록했으며, SkipGram(56.27%)과 FastText(55.58%)보다 略로 낮아 형태학적 정보의 이점이 없음을 보였다.
• 품사 태깅에서 영어에서는 SkipGram이 가장 높은 성능(0.9824)을 보였고, 러시아어에서는 FastText가 가장 높은 성능(0.8899)을 기록했으며, MorphGram은 중간 성능(0.8871)을 보였다.
• 구문 분할에서 FastText는 두 언어에서 가장 높은 정확도를 기록했으며(영어 0.9034, 러시아어 0.8548), MorphGram 역시 중간 성능(영어 0.8985, 러시아어 0.8534)을 보였다.