[논문 리뷰] To lemmatize or not to lemmatize: how word normalisation affects ELMo performance in word sense disambiguation

Andrey Kutuzov, Elizaveta Kuzmenko|arXiv (Cornell University)|2019. 09. 06.

Topic Modeling참고 문헌 11인용 수 10

한 줄 요약

이 논문은 영어 및 러시아어의 단어 의미 해석(Word Sense Disambiguation, WSD)에서 추상화 처리(lemmatization)가 ELMo의 성능을 향상시키는지 조사한다. 원본 토큰과 추상화된 텍스트로 ELMo 모델을 훈련시켜, 어형이 풍부한 러시아어에서는 작은 그러나 일관된 WSD 향상이 나타나지만, 영어에서는 유의미한 향상이 없음을 발견한다. 이는 언어의 형태학적 특성에 따라 언어 전처리가 딥러닝 모델에 여전히 영향을 미칠 수 있음을 시사한다.

ABSTRACT

We critically evaluate the widespread assumption that deep learning NLP models do not require lemmatized input. To test this, we trained versions of contextualised word embedding ELMo models on raw tokenized corpora and on the corpora with word tokens replaced by their lemmas. Then, these models were evaluated on the word sense disambiguation task. This was done for the English and Russian languages. The experiments showed that while lemmatization is indeed not necessary for English, the situation is different for Russian. It seems that for rich-morphology languages, using lemmatized training and testing data yields small but consistent improvements: at least for word sense disambiguation. This means that the decisions about text pre-processing before training ELMo should consider the linguistic nature of the language in question.

연구 동기 및 목표

• ELMo와 같은 딥러닝 자연어 처리 모델이 추상화 처리나 기타 정규화를 필요로 하지 않는다는 가정을 도전하기 위해.
• 원본 토큰화된 텍스트와 비교하여, 추상화된 문장 집합으로 훈련한 ELMo가 단어 의미 해석(WSD) 성능을 향상시키는지 평가하기 위해.
• 형태학적 복잡도가 다른 언어, 특히 영어(낮은 형태학)와 러시아어(풍부한 형태학) 간에 추상화 처리의 영향이 어떻게 다를지 조사하기 위해.
• 특히 의미적으로 다를 수 있거나 유사한 의미를 가진 어휘에 대해, 추상화 처리가 WSD 점수의 일관성과 안정성에 어떤 영향을 미치는지 파악하기 위해.

제안 방법

• 동일한 훈련 코퍼스(영어 위키백과 및 러시아어 위키백과 + RNC)의 원본 토큰과 추상화된 형태로 ELMo 모델을 새로 훈련시켰다.
• UDPipe를 사용하여 토크나이제이션 및 추상화 처리를 수행하였으며, 영어의 정확도는 약 96%, 러시아어는 약 97%였다.
• 두 개의 WSD 벤치마크(영어: Senseval-3, 러시아어: RUSSE’18)를 사용하여 평가하였으며, 주로 명사 대상 어휘에 초점을 맞췄다.
• ELMo의 최상위 레이어에서 추출한 문맥 기반 어휘 표현을 사용하여 WSD를 위한 분류기 모델을 훈련시켰다.
• 두 언어의 여러 대상 어휘에 대해 원본 토큰 기반 모델과 추상화된 형태 기반 모델 간의 F1 점수를 비교하였다.
• 형태소가 있는 어휘와 없는 어휘에 대해 추상화 처리의 영향을 분석하였으며, 특히 형태소 정보 손실로 인해 성능이 떨어지는 경우를 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 훈련 및 테스트 데이터를 추상화 처리하면 영어 및 러시아어에서 ELMo의 WSD 성능이 향상되는가?
• RQ2 추상화 처리의 이점은 언어의 형태학적 풍부성에 따라 달라지는가?
• RQ3 왜 일부 어휘는 추상화 처리 시 성능 저하가 심하게 나타나는가(특히 러시아어에서)?
• RQ4 형태소가 있는지 여부가 추상화 기반 모델과 토큰 기반 모델 간 성능 상대적 차이에 어떤 영향을 미치는가?
• RQ5 추상화 처리가 다양한 어휘 의미 간 WSD의 안정성과 일관성에 어느 정도 향상시키는가?

주요 결과

• 영어에서는 추상화 처리로 인한 WSD 성능 향상이 거의 없었으며, F1 차이가 0.01 이하로 유의미한 통계적 유의성이 없었다.
• 러시아어에서는 추상화 처리로 인해 작은 그러나 일관된 WSD 향상이 나타났으며, 여러 대상 어휘에서 F1 향상이 관찰되었고, 특히 의미적으로 다를 수 있는 어휘에서 두드러졌다.
• 액시아(‘주식/주식’)와 크로나(‘ Corona/나무’)와 같은 어휘는 추상화 기반 모델에서 F1 점수 향상이 뚜렷했으며, 이는 더 나은 문맥 차별화를 의미한다.
• 도미노(‘도미노 게임/의상’)는 추상화 기반 모델에서 약간의 성능 저하를 보였는데, 이는 형태소가 없고 문맥적 형태소 정보 손실로 인한 것으로 보인다.
• 바이카와 구브드이카와 같이 서로 다른 의미에서 다른 추상화 형태를 가지는 어휘의 경우, 추상화 기반 모델이 F1 점수에서 상당한 향상을 보였으며, 이는 추상화 처리의 정확도가 결과에 직접적인 영향을 미친다는 것을 확인한다.
• 결과적으로, 추상화 처리가 형태학적으로 풍부한 언어에서는 다양한 어형을 더 잘 다룰 수 있도록 도와주지만, 형태소가 없거나 외래어인 경우 형태소 정보가 유용한 경우에선 성능 저하를 초래할 수 있음을 시사한다.