[논문 리뷰] UniMorph 4.0: Universal Morphology

Khuyagbaatar Batsuren, Omer Goldman외 94명|arXiv (Cornell University)|2022. 05. 07.

Natural Language Processing Techniques참고 문헌 63인용 수 36

한 줄 요약

UniMorph 4.0은 다국어 형태론 자원을 67개의 새로운 언어(총 182개)와 함께 확장하고, 계층적 주석, 16개 언어의 형태소 분할, 30개 언어의 파생 형태 데이터, 그리고 UD treebanks에 대한 자동 검증 도구를 제공합니다.

ABSTRACT

The Universal Morphology (UniMorph) project is a collaborative effort providing broad-coverage instantiated normalized morphological inflection tables for hundreds of diverse world languages. The project comprises two major thrusts: a language-independent feature schema for rich morphological annotation and a type-level resource of annotated data in diverse languages realizing that schema. This paper presents the expansions and improvements made on several fronts over the last couple of years (since McCarthy et al. (2020)). Collaborative efforts by numerous linguists have added 67 new languages, including 30 endangered languages. We have implemented several improvements to the extraction pipeline to tackle some issues, e.g. missing gender and macron information. We have also amended the schema to use a hierarchical structure that is needed for morphological phenomena like multiple-argument agreement and case stacking, while adding some missing morphological features to make the schema more inclusive. In light of the last UniMorph release, we also augmented the database with morpheme segmentation for 16 languages. Lastly, this new release makes a push towards inclusion of derivational morphology in UniMorph by enriching the data and annotation schema with instances representing derivational processes from MorphyNet.

연구 동기 및 목표

• 수백 개의 언어에 대한 광범위한 커버리지의 구체화된 형태론 굴절 표를 제공합니다.
• 다항인칭 일치 및 대격 스태킹 같은 복잡한 현상을 처리하기 위한 주석 스키마를 개선합니다.
• 형태소 분할 및 파생 형태 데이터를 보강합니다.
• Universal Dependencies에 대한 자동 검증으로 데이터 품질을 향상시킵니다.

제안 방법

• UniMorph 스키마에서 다중 인자 동의 및 대격 스태킹을 지원하는 계층적 특성 구조를 도입합니다.
• 언어별 굴절 형태소 데이터 세트와 재귀적 분할 알고리즘을 사용하여 16개 언어에 대한 형태소 분할 데이터를 추가합니다.
• 12개 위키피딕의 30개 언어에서 4.3백만 개의 예비 파생을 추출해 769,102개의 최종 파생 및 12,420개의 접사를 얻습니다.
• 여러 언어에 대해 UD 트리뱅크와의 비교를 통해 정밀도, 재현율 및 F-측정을 계산하도록 기존 UniMorph 검증 도구를 확장합니다.
• MorphyNet 유래 데이터와 협력하여 파생형 패러다음을 수집하고 게시합니다.

실험 결과

연구 질문

• RQ1 UniMorph가 다양한 언어에 걸쳐 계층적 형태를 일관되게 표현하려면 주석 스키마를 어떻게 확장할 수 있을까요?
• RQ2 형태소 분할 및 파생 형태 데이터의 추가가 UniMorph 데이터세트의 커버리지와 활용성에 어떤 영향을 미칠까요?
• RQ3 여러 언어에 대한 자동 검증을 통해 UniMorph 4.0이 Universal Dependencies와 얼마나 잘 정렬되나요?
• RQ4 UniMorph 4.0에서 달성된 새로운 데이터의 규모(언어, 굴절, 파생)는 어느 정도인가요?

주요 결과

• UniMorph 4.0은 182개 언어 및 122백만 개의 굴절, 30개 언어에 걸친 769천 개의 파생 및 12,420개의 접사를 포함합니다.
• 새로운 언어 67개를 도입했으며, 이 중 30개가 전통적으로 멸종 위험에 처한 언어를 포함하여 총 데이터 세트가 182개 언어가 되었습니다.
• 다항인칭 동의 및 대격 스태킹을 지원하기 위한 계층적 주석 스키마가 구현되었고, 대격 주석은 순서를 보존하는 방식으로 적용됩니다.
• 16개 언어에 대한 형태소 분할 데이터가 있어 굴절 형태의 재귀적 분할이 가능합니다.
• 30개 언어에 파생 패러다임이 갖춰져 769,102개의 파생 및 12,420개의 접사를 제공합니다.
• UD 트리뱅크에 대한 자동 검증 도구가 재현율을 개선(예: v4.0에서 러시아 재현율 최대 61.5%)하고 높은 정밀도(최대 99.7%)를 유지하는 것을 보여줍니다.
• 12개의 Wiktionary 에디션과 30개 언어에서 추출된 파생 데이터가 중복을 줄이고 더 완전한 파생을 제공합니다.