[논문 리뷰] Tokenization and Morphological Fidelity in Uralic NLP: A Cross-Lingual Evaluation

Nuo Xu, Ahrii Kim|arXiv (Cornell University)|2026. 02. 04.

Natural Language Processing Techniques인용 수 0

한 줄 요약

본문은 세 가지 토크나이제이션 패러다임(BPE, Unigram, OBPE)을 여섯 개의 우랄어(Uralic) 언어에서 비교하여 OBPE가 종종 형태소 정렬 및 교차 언어 전이에서 더 나은 결과를 내고, 극히 자원이 적거나 고립된 설정에서 Unigram이 가장 잘 수행한다는 것을 보여준다.

ABSTRACT

Subword tokenization critically affects Natural Language Processing (NLP) performance, yet its behavior in morphologically rich and low-resource language families remains under-explored. This study systematically compares three subword paradigms -- Byte Pair Encoding (BPE), Overlap BPE (OBPE), and Unigram Language Model -- across six Uralic languages with varying resource availability and typological diversity. Using part-of-speech (POS) tagging as a controlled downstream task, we show that OBPE consistently achieves stronger morphological alignment and higher tagging accuracy than conventional methods, particularly within the Latin-script group. These gains arise from reduced fragmentation in open-class categories and a better balance across the frequency spectrum. Transfer efficacy further depends on the downstream tagging architecture, interacting with both training volume and genealogical proximity. Taken together, these findings highlight that morphology-sensitive tokenization is not merely a preprocessing choice but a decisive factor in enabling effective cross-lingual transfer for agglutinative, low-resource languages.

연구 동기 및 목표

• 세 가지 하위어 토크나이제이션 패러다임이 형태소가 풍부한 우랄어 언어의 다운스트림 POS 태깅에 어떤 영향을 미치는지 평가한다.
• 자원이 많은 소스 언어로 학습하고 자원이 적은 대상에 미세조정할 때 교차-언어 전이 성능을 평가한다.
• 라틴 문자와 키릴 문자를 포함한 각 스크립트 간 형태학적 충실도가 어떤 토크나이저에 의해 더 잘 보존되는지 결정한다.
• 자원 수준과 계통적 근접성이 토크나이저 효능에 어떤 영향을 미치는지 분석한다.

제안 방법

• UD v2 데이터셋을 사용한 여섯 개 우랄어 언어에 대해 BPE, Unigram, Overlap-based BPE(OBPE)를 체계적으로 비교한다.
• 고정 어휘 크기(5,000 부분어 단위)로 언어별 단일 언어 데이터에서 토크나이저를 학습한다.
• 교차 언어 전이 설정에서 두 가지 아키텍처(BiLSTM-CRF와 Flair)를 사용해 다운스트림 POS 태깅을 평가한다(출발 언어 -> 대상 언어).
• 레이블을 부분어 시퀀스로 투영하기 위해 금본위의 추출, 탐욕적 정렬, 최초 부분어 태깅의 3단계 전처리 방식을 사용한다.
• 최소 공유 토큰 빈도를 극대화하기 위해 압축과 중첩의 가중치를 같게 설정하고(α = 0.5), 일반화 평균의 p = −∞ 값을 사용한다.
• 주요 지표로 POS 태깅의 정확도(Accuracy)와 Macro-F1을 보고한다.

실험 결과

연구 질문

• RQ1 OBPE가 다양한 우랄어 언어에서 BPE와 Unigram에 비해 더 높은 형태소 정렬 및 POS 태깅 정확도를 제공하는가?
• RQ2 계통적 근접성 및 문자 체계 그룹(라틴 대 키릴)에 따라 교차-언어 전이 성능은 어떻게 달라지는가?
• RQ3 토크나이저의 확률적 분할 및 부분어 정규화로 인해 극히 저자원 설정에서 Unigram이 BPE보다 더 효과적인가?
• RQ4 어떤 POS 범주가 토크나이저 선택의 영향을 가장 많이 받는가(오픈 클래스 vs 클로즈드 클래스)?

주요 결과

• OBPE는 대부분의 언어 쌍에서 BPE와 Unigram보다 더 높은 POS 태깅 정확도와 Macro-F1을 지속적으로 달성하며, 키릴 문자에서는 Unigram이 최상이다.
• 헝가리어는 BPE에서 정확도와 Macro-F1 사이의 큰 차이가 나타나는 경향을 보이며, OBPE가 희귀 형태의 과소 표현 문제를 완화한다.
• OBPE는 오픈 클래스 범주 태깅(예: North Sámi의 ADJ 및 NOUN)에서 BPE에 비해 향상되나, PUNCT와 같은 고정 기능 클래스는 토크나이저에 관계없이 안정적이다.
• 키릴 문자(러시아→코미-초이아리안) 페어링은 어족형 차이와 철자 중복으로 인해 큰 성능 차이를 보여 OBPE의 교차-언어 이익이 제한된다.
• Unigram은 데이터가 부족한 고립형 저자원 환경에서 형태학적으로 더 신뢰할 수 있는 분할을 제공하고, 데이터가 부족할 때 VERB 및 다른 형태소가 풍부한 형태의 성능을 향상시킨다.
• POS 엔트로피(H)가 토크나이저 성능과 상관관계를 보이며, 태그 분포가 더 높고 균등한 언어(예: 헝가리어 및 노던 사미)가 학습 데이터가 감소해도 OBPE 이점을 유지한다.