[논문 리뷰] Neural Morphology Dataset and Models for Multiple Languages, from the Large to the Endangered

Mika Hämäläinen, Niko Partanen외 2명|arXiv (Cornell University)|2021. 05. 26.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 기존의 유한상태변환기(FST)에서 자동으로 학습 데이터를 추출하여 22개의 형태적 특징이 풍부한 언어(중요도가 높은 17개 언어 포함)에 대한 대규모 신경 형태학 데이터셋과 모델을 제시한다. 신경 모델은 FST와 동일한 형태적 태그셋을 사용하도록 학습되어, 후속 시스템으로서의 통합이 가능하며, 모호성과 복잡한 형태학적 구조에도 불구하고 OOV(학습 외 단어)에 대해 80% 이상의 정확도를 달성한다.

ABSTRACT

We train neural models for morphological analysis, generation and lemmatization for morphologically rich languages. We present a method for automatically extracting substantially large amount of training data from FSTs for 22 languages, out of which 17 are endangered. The neural models follow the same tagset as the FSTs in order to make it possible to use them as fallback systems together with the FSTs. The source code, models and datasets have been released on Zenodo.

연구 동기 및 목표

• 규칙 기반의 유한상태변환기(FST)의 형태학적 분석, 생성, 어근화 작업에 대한 후속 시스템으로 사용할 수 있는 신경 형태학 모델을 개발하는 것.
• 다양한 언어, 특히 멸종 위험에 처한 우랄리아계 및 기타 형태적 특징이 풍부한 언어를 대상으로 대규모 공개 학습 데이터셋을 구축하는 것.
• 신경 모델과 기존 FST 간의 호환성을 확보하기 위해 동일한 형태적 태그셋을 사용함으로써, NLP 응용 프로그램에서 공동 배포가 가능하도록 하는 것.
• 신경 모델의 일반화 능력과 규칙 기반 FST의 정밀도를 조합하여 형태학 체계의 커버리지 향상에 기여하는 것.
• 저자원 및 멸종 위험에 처한 언어 환경에서 실질적인 NLP 응용 프로그램을 지원하기 위해 접근 가능하고 상호 운용성 있으며 정확한 모델을 제공하는 것.

제안 방법

• 기존 FST와 정규표현식 변환기를 조합하여, 각 어근에 대해 가능한 모든 인플렉션 형태를 생성함으로써 대규모 학습 데이터를 자동으로 추출한다.
• GiellaLT FST 인fra구조와 동일한 형태적 태그셋을 사용하여 신경 모델과 규칙 기반 시스템 간의 호환성과 상호 운용성을 확보한다.
• 추출된 데이터셋을 사용하여 형태학적 분석, 생성, 어근화 작업을 위한 별도의 신경 시퀀스-투-시퀀스 모델을 학습한다.
• 일반화 능력을 테스트하기 위해 학습 외 단어(OOV)에 대해서만 평가를 수행하며, 정답 기준 테스트 세트와의 정확한 일대일 출력 매칭을 기준으로 평가한다.
• 다양한 정답 출력이 존재할 수 있음을 고려하여, 모호성 처리를 위해 N-best 디코딩을 구현한다.
• 계산 비용과 복잡성으로 인해 클리틱, 복합어, 파생어는 학습에서 제외하며, 향후 전용 처리 방법에 대한 연구를 제안한다.

실험 결과

연구 질문

• RQ1 FST에서 추출한 데이터로 학습된 신경 모델이 기존 규칙 기반 FST와 호환성을 유지하면서도 학습 외 단어에 대해 높은 정확도를 달성할 수 있는가?
• RQ2 저자원 및 멸종 위험에 처한 언어의 형태학적 복잡성과 희귀 형태에 대해 신경 모델이 얼마나 잘 일반화되는가?
• RQ3 모호한 입력에 대해 신경 모델의 성능은 FST와 비교해 어떻게 되며, N-best 디코딩은 정밀도를 희생시키지 않고 커버리지 향상에 기여할 수 있는가?
• RQ4 신경 형태학 학습에 클리틱, 복합어, 파생어를 포함시키는 데 있어 실질적인 제약 사항은 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ5 핵심 규칙 기반 인fra구조를 대체하지 않고도 실세계 NLP 시스템에서 신경 모델을 효과적으로 후속 시스템으로 사용할 수 있는가?

주요 결과

• 신경 모델은 다양한 언어에서 학습 외 단어(OOV)에 대해 80% 이상의 정확도를 달성하여, 형태학 파라디그마의 복잡성에도 불구하고 강력한 일반화 능력을 입증하였다.
• 형태학적 분석이 가장 도전적인 과제였으며, 더 긴 학습 시간과 생성 및 어근화 대비 낮은 성능을 보였다.
• 일대일 출력 매칭 기준 평가로 인해 결과가 다소 보수적으로 평가되었으며, 많은 테스트 입력에서 모호성이 존재하고 여러 정답 출력이 존재했기 때문이다.
• 모델는 이미 N-best 후보를 생성할 수 있으므로, 모호성이 자주 정확히 포착되고 있음을 시사하며, 향후 이러한 출력을 활용해 재현율을 향상시킬 수 있다.
• 데이터셋과 모델는 Zenodo에 전체 학습, 검증, 테스트 분할을 포함하여 공개되었으며, 후속 NLP 작업에서 재현성과 재사용 가능성을 보장한다.
• 계산 및 구현 제약으로 인해 클리틱, 복합어, 파생어를 제외하였지만, 멸종 위험에 처한 언어 및 저자원 언어의 형태학 NLP에 대해 확장 가능한 기반을 제공한다.