[논문 리뷰] LowResourceEval-2019: a shared task on morphological analysis for low-resource languages

Elena Klyachko, Alexey Sorokin외 3명|arXiv (Cornell University)|2020. 01. 30.

Natural Language Processing Techniques참고 문헌 8인용 수 6

한 줄 요약

이 논문은 러시아의 저자원 언어인 에벤키, 카렐리아어, 셀쿠프어, 베파스어에 대한 첫 번째 공동 과제를 제시한다. 소규모 현장 수집 코퍼스를 기반으로 하며, 참가자들은 규칙 기반 시스템을 능가하는 신경망 기반 모델을 활용하였다. 이는 희소하고 비표준적인 언어 데이터가 존재하는 상황에서도 현대 NLP 기법의 타당성을 입증하며, 복합어어형 언어에서의 장음 조화, 자음 변화, 형태소 분할 문제를 부각시켰다.

ABSTRACT

The paper describes the results of the first shared task on morphological analysis for the languages of Russia, namely, Evenki, Karelian, Selkup, and Veps. For the languages in question, only small-sized corpora are available. The tasks include morphological analysis, word form generation and morpheme segmentation. Four teams participated in the shared task. Most of them use machine-learning approaches, outperforming the existing rule-based ones. The article describes the datasets prepared for the shared tasks and contains analysis of the participants' solutions. Language corpora having different formats were transformed into CONLL-U format. The universal format makes the datasets comparable to other language corpura and facilitates using them in other NLP tasks.

연구 동기 및 목표

• 러시아의 저자원 소수어 언어를 위한 언어 자원 및 NLP 도구 개발을 자극하기 위해.
• 현장 언어학자들과 NLP 연구자들 사이의 격차를 줄이기 위해, CONLL-U 형식으로 표준화된 접근 가능 코퍼스를 제공하기 위해.
• 저자원 환경에서 형태 분석, 분할, 어형 생성 작업에 대해 최신 기계 학습 기법을 평가하기 위해.
• 소수어 언어에서 수집된 방언적으로 다양하고 희소하며 비공식적인 코퍼스에 적용했을 때 현재 NLP 시스템의 한계를 규명하기 위해.

제안 방법

• CONLL-U 형식으로 표준화된 에벤키, 카렐리아어, 셀쿠프어, 베파스어 코퍼스를 구축하여 기존 NLP 도구와의 상호운용성을 확보함.
• 형태 분석(품사 및 품사 특성), 형태소 분할, 어형 생성의 세 가지 하위 과제로 구성된 공동 과제를 운영함.
• 기계 학습, 주로 신경망을 활용한 시스템 개발을 위해 네 팀을 초청함. 학습에 소규모 비표준 코퍼스를 사용함.
• 일관성과 언어 간, 도구 간 비교 가능성을 확보하기 위해 보편적 태깅 표준을 적용함.
• 골드 표준 주석을 기반으로 시스템을 평가하였으며, 오류 분석은 음운 현상과 형태학적 복잡성에 집중함.
• 모든 데이터셋과 시스템을 공개하여 저자원 NLP 분야의 재사용 및 향후 연구를 촉진함.

실험 결과

연구 질문

• RQ1 희소한 학습 데이터를 가진 저자원 복합어어형 소수어 언어에 대해 현대 신경망 기반 모델은 형태 분석 과제에서 어떤 성능을 보일 수 있는가?
• RQ2 현장에서 수집한 비표준적이고 방언적으로 다양성이 있는 코퍼스에 적용했을 때 신경망 모델의 주요 실패 원인은 무엇인가?
• RQ3 장음 조화, 자음 변화, 복잡한 접미사와 같은 형태학적 현상이 저자원 환경에서 현재 NLP 시스템에 얼마나 큰 도전이 되는가?
• RQ4 표준화된 CONLL-U 형식의 코퍼스는 저자원 언어를 위한 NLP 도구 개발과 평가를 어떻게 향상시킬 수 있는가?
• RQ5 왜 품사 태깅 시스템은 예상보다 성능이 낮게 나타나며, 특히 명사와 동사를 혼동하는가? 이는 비공식적이고 구어체 코퍼스에서 공통된 접미사와 약한 문맥적 단서 때문인가?

주요 결과

• 모든 언어와 과제에서 신경망 기반 모델이 규칙 기반 시스템을 능가하였으며, 제한된 데이터 조건에서도 딥러닝의 효과성을 입증함.
• 형태 분석에서 가장 흔한 오류는 비표준 어형, 외래어 분할, 그리고 kw → kk 또는 장음 조화와 같은 형태음운 변화 때문임.
• 품사 태깅 성능은 예상보다 낮았으며, 동사와 명사를 혼동하는 경우가 많았는데, 이는 공통된 접미사와 비공식적·구어체 코퍼스에서의 약한 문맥적 단서 때문일 가능성이 큼.
• 형태소 분할 오류의 주요 원인은 복잡한 접미사를 잘못 분할하거나, 원어 접미사를 가진 외래어를 잘못 분석한 데 기인함.
• 어형 생성 실패의 대부분은 훈련 데이터에 존재하는 패턴이었음에도 불구하고 잘못된 장음 조화와 자음 변화 때문임.
• 데이터 희소성과 방언적 다양성에도 불구하고, 최고 성능을 낸 시스템은 경쟁 가능한 성능을 달성하였으며, 적절한 전처리와 표준화를 통해 현대 NLP 기법이 저자원, 현장에서 수집된 코퍼스에 효과적으로 적용될 수 있음을 시사함.