[논문 리뷰] Morphological Tagging and Lemmatization of Albanian: A Manually Annotated Corpus and Neural Models

Nelda Kote, Marenglen Biba외 3명|arXiv (Cornell University)|2019. 12. 02.

Natural Language Processing Techniques참고 문헌 11인용 수 7

한 줄 요약

이 논문은 알바니아어를 위한 첫 번째 공개된 수작업으로 태깅된 형태소 및 품사 품사 표기 코퍼스를 제시한다. 이 코퍼스는 자연어 텍스트 약 118,000개 토큰과 67,000개의 합성 학습 문장으로 구성되어 있다. Turku 신경망 파서 파이프라인을 사용하여 저자들이 학습한 신경망 모델은 품사 표기에서 92.74%의 정확도, 형태소 표기에서 85.31%, 어간 복원에서 89.95%의 정확도를 기록하여 알바니아어를 위한 기초가 되는 NLP 자원을 공개적으로 제공한다.

ABSTRACT

In this paper, we present the first publicly available part-of-speech and morphologically tagged corpus for the Albanian language, as well as a neural morphological tagger and lemmatizer trained on it. There is currently a lack of available NLP resources for Albanian, and its complex grammar and morphology present challenges to their development. We have created an Albanian part-of-speech corpus based on the Universal Dependencies schema for morphological annotation, containing about 118,000 tokens of naturally occuring text collected from different text sources, with an addition of 67,000 tokens of artificially created simple sentences used only in training. On this corpus, we subsequently train and evaluate segmentation, morphological tagging and lemmatization models, using the Turku Neural Parser Pipeline. On the held-out evaluation set, the model achieves 92.74% accuracy on part-of-speech tagging, 85.31% on morphological tagging, and 89.95% on lemmatization. The manually annotated corpus, as well as the trained models are available under an open license.

연구 동기 및 목표

• 알바니아어에 대한 NLP 자원의 부족을 해결하기 위해, 복잡한 형태소 구조를 지닌 언어이자 디지털 도구가 제한된 언어에 대해.
• 유니버설 디펜던시 기준에 부합하는 형태소 표기와 일치하는 고품질의 수작업 태깅 코퍼스를 구축하기 위해.
• 최근에 제작된 코퍼스를 사용하여 알바니아어의 형태소 표기 및 어간 복원을 위한 신경망 모델을 학습하고 평가하기 위해.
• 공개 및 학술적 사용을 위해 수작업 태깅 코퍼스와 학습된 모델을 오픈 라이선스 하에 배포하기 위해.

제안 방법

• 저자들은 다양한 출처에서 자연적으로 발생한 알바니아어 텍스트 약 118,000개 토큰을 수집하고, 학습을 위해 67,000개의 인위적으로 생성된 단순 문장을 보완하였다.
• 코퍼스는 유니버설 디펜던시 표준에 따라 수작업으로 품사 및 형태소 특징에 대해 태깅되었다.
• 분할, 형태소 표기, 어간 복원을 위한 신경망 모델은 Turku 신경망 파서 파이프라인을 사용하여 학습되었다.
• 모델은 보류된 테스트 세트에서 평가되어 품사 표기, 형태소 표기, 어간 복원 성능을 측정하였다.
• 모델 학습 및 평가는 문맥적 임bedding과 조건부 랜덤 필드(CRF)를 사용한 디코딩을 포함한 시퀀스-투-시퀀스 프레임워크를 사용하여 수행되었다.

실험 결과

연구 질문

• RQ1 제한된 기존 자원을 고려할 때, 알바니아어에서 형태소 표기 및 어간 복원에 대해 신경망 모델의 성능은 어떠한가?
• RQ2 유니버설 디펜던시 기반의 수작업 태깅 코퍼스는 알바니아어 NLP 모델 학습에 얼마나 효과적인가?
• RQ3 실제 데이터와 합성 데이터의 조합은 알바니아어와 같은 저자원 환경에서 모델의 일반화 능력을 향상시키는 데 효과적인가?
• RQ4 제안된 모델은 품사 표기, 형태소 표기, 어간 복원 작업에서 기준 모델보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 신경망 모델은 품사 표기에서 92.74%의 정확도를 기록하여 문법적 분류 성능이 뛰어남을 보여주었다.
• 형태소 표기에서 85.31%의 정확도를 달성하여 알바니아어의 풍부한 변화형 형태소 구조가 주는 과제를 반영하였다.
• 어간 복원에서 89.95%의 정확도를 기록하여 형태소 복잡성에도 불구하고 기본 어형 복원이 효과적으로 이루어졌음을 시사하였다.
• 약 118,000개 토큰의 수작업 태깅 코퍼스와 67,000개의 합성 학습 토큰은 향후 알바니아어 NLP 연구에 탄탄한 기반을 제공한다.