[논문 리뷰] Comparing morphological complexity of Spanish, Otomi and Nahuatl

Ximena Gutierrez-Vasques, Víctor Mijangos|arXiv (Cornell University)|2018. 08. 13.

Natural Language Processing Techniques참고 문헌 13인용 수 3

한 줄 요약

이 연구는 코퍼스 기반 측도인 유형-토큰 비율(TTR), 엔트로피, 퍼플렉서티를 사용하여 스페인어, 오토미어, 나와틀어의 형태적 복잡성을 비교한다. 두 개의 소규모 평행 코퍼스를 대상으로 한다. 그 결과, 나와틀어는 높은 형태적 생산성(높은 TTR)을 보이지만, 스페인어보다 더 예측 가능하다(낮은 엔트로피/퍼플렉서티); 반면 오토미어는 생산성과 예측 불가능성 양면에서 모두 높은 복잡성을 보이며, 복잡한 파급계, 어간 변화, 파생 과정으로 인해 더 높은 형태적 복잡성을 나타낸다.

ABSTRACT

We use two small parallel corpora for comparing the morphological complexity of Spanish, Otomi and Nahuatl. These are languages that belong to different linguistic families, the latter are low-resourced. We take into account two quantitative criteria, on one hand the distribution of types over tokens in a corpus, on the other, perplexity and entropy as indicators of word structure predictability. We show that a language can be complex in terms of how many different morphological word forms can produce, however, it may be less complex in terms of predictability of its internal structure of words.

연구 동기 및 목표

• 스페인어( Indo-European), 오토미어(Otomian), 나와틀어(Uto-Aztecan)와 같은 문법적 유형이 다른 세 언어의 형태적 복잡성을 코퍼스 기반 측도를 사용하여 정량화한다.
• 높은 형태적 생산성(많은 어형)이 형태적 구조의 예측 가능성과 상관이 있는지 조사한다.
• 형태 정규화(어원형 복원, 어간 추출, 분할)가 복잡성 측도에 미치는 영향을 평가한다.
• 스페인어처럼 자원이 많은 언어와는 달리, 자원이 적은 언어인 오토미어와 나와틀어가 다른 복잡성 프로파일을 보이는지 탐색한다.
• TTR(생산성)와 엔트로피/퍼플렉서티(예측 가능성)가 형태적 복잡성의 정량적 측도로서 상호 보완적인지 평가한다.

제안 방법

• 연구는 세 언어(스페인어, 오토미어, 나와틀어)의 소규모 평행 코퍼스를 사용하여 언어 간 의미적 내용이 동일하도록 보장한다.
• 형태적 생산성과 어형 다양성 측도로 유형-토큰 비율(TTR = 유형 수/토큰 수)을 계산한다.
• 모르프의 순서에 기반한 통계적 언어 모델을 학습하여 엔트로피와 퍼플렉서티를 계산함으로써 형태적 구조의 예측 가능성 측도를 산출한다.
• 다양한 형태 정규화 기법(어원형 복원, 어간 추출, 분할)을 적용하여 TTR와 예측 가능성 측도에 미치는 영향을 평가한다.
• 언어 간 복잡성 차이를 평가하기 위해 분석 결과를 비교 분석한다.
• 엔트로피와 퍼플렉서티는 어형 순서를 기반으로 계산되어 어형 형성의 불확실성과 예측 가능성 수준을 평가한다.

실험 결과

연구 질문

• RQ1 평행 코퍼스에서 스페인어, 오토미어, 나와틀어의 유형-토큰 비율(TTR)은 어떻게 비교되며, 이는 형태적 생산성을 어떻게 반영하는가?
• RQ2 각 언어의 모르프 순서는 엔트로피와 퍼플렉서티로 측정했을 때 어느 정도 예측 가능한가?
• RQ3 다양한 형태 정규화 기법이 각 언어의 측정된 복잡성에 어떤 영향을 미치는가?
• RQ4 높은 형태적 생산성(높은 TTR)을 가진 언어가 반드시 낮은 예측 가능성(높은 엔트로피)을 보이는가?
• RQ5 오토미어와 나와틀어의 형태적 복잡성 프로파일은 언어 계통과 자원 수준을 고려할 때 스페인어와 어떻게 다를까?

주요 결과

• 나와틀어는 세 언어 중에서 가장 높은 TTR를 보이며, 이는 그들의 축합적이고 다형성 있는 성격으로 인한 높은 형태적 생산성을 나타낸다.
• 높은 TTR에도 불구하고, 나와틀어는 스페인어보다 낮은 엔트로피와 퍼플렉서티를 보이며, 형태적 순서가 더 예측 가능하다는 것을 시사한다.
• 오토미어는 높은 TTR와 동시에 높은 엔트로피와 퍼플렉서티를 보이며, 형태적 구조의 생산성과 예측 불가능성 측면에서 모두 높은 복잡성을 나타낸다.
• 오토미어의 높은 엔트로피는 복잡한 파급계, 어간 변화, 접두사 변화, 특히 동사에서의 음성 민감형 형태학으로 인한 것이다.
• 오토미어의 파생 과정은 규칙성이 떨어지고 빈도가 낮아 예측 불가능성을 증가시킨다.
• 이 연구는 TTR와 예측 가능성(엔트로피/퍼플렉서티)이 상호 보완적인 측도임을 입증한다: 한 언어는 높은 생산성과 동시에 예측 가능할 수 있다(나와틀어), 또는 높은 생산성과 동시에 예측 불가능할 수 있다(오토미어).