[논문 리뷰] Modelling Verbal Morphology in Nen

Saliha Muradoğlu, Nicholas Evans외 1명|arXiv (Cornell University)|2020. 11. 30.

Natural Language Processing Techniques참고 문헌 18인용 수 5

한 줄 요약

이 논문은 Nen의 매우 복잡한 파푸아어 문법 형태를 처음으로 신경망 기반으로 모델링한다. Nen은 수동어 동사당 최대 1,740개의 변형형을 가진 고도로 복잡한 언어이다. 최신 형태론적 재형성 모델을 사용하여, 시스템이 제한된 데이터에서 비틀림과 같은 복잡한 패턴을 학습할 수 있음을 입증한다. 그러나 이질성과 자유 변동 오류로 인해 희귀 형태를 자주 잘못 예측한다.

ABSTRACT

Nen verbal morphology is remarkably complex; a transitive verb can take up to 1,740 unique forms. The combined effect of having a large combinatoric space and a low-resource setting amplifies the need for NLP tools. Nen morphology utilises distributed exponence - a non-trivial means of mapping form to meaning. In this paper, we attempt to model Nen verbal morphology using state-of-the-art machine learning models for morphological reinflection. We explore and categorise the types of errors these systems generate. Our results show sensitivity to training data composition; different distributions of verb type yield different accuracies (patterning with E-complexity). We also demonstrate the types of patterns that can be inferred from the training data through the case study of syncretism.

연구 동기 및 목표

• 낮은 자원의 파푸아어 언어에 대한 NLP 자원 부족 문제를 해결하기 위해, Nen의 매우 복잡한 동사 형태론을 모델링한다.
• 분산 지표를 지닌 저자원, 고복잡도 언어에서 최신 신경망 모델의 성능을 조사한다.
• 형태론적 재형성 시스템에서의 오류 패턴, 특히 이형성과 자유 변동을 분석하여 모델의 탄력성을 평가한다.
• 훈련 데이터 구성, 특히 동사 어종 분포가 모델 정확도와 일반화 능력에 미치는 영향을 조사한다.
• 모델이 명시적 애너테이션 없이도 희박한 데이터에서 암묵적인 언어 패턴, 예를 들어 비틀림을 유추할 수 있는지 평가한다.

제안 방법

• 저자원 Nen 코퍼스에 최신 신경망 형태론 재형성 모델(Aharoni & Goldberg 2017; Makarov & Clematide 2018)을 훈련시킨다.
• 두 가지 데이터 샘플링 전략(무작위 및 지프형)을 사용하여 동사 어종 분포가 모델 성능에 미치는 영향을 평가한다.
• 세부적인 오류 분류 체계(Gorman et al. 2019)를 적용하여 예측 실패를 분류하고, 자유 변동이라는 새로운 하위 범주를 도입한다.
• 비틀림 테스트를 위해, 미리 보지 못한 제2형 단수 과거 완료형을 평가하고 제3형과 대조한다.
• 접두어형, 중간형, 이중접두어형 등 다양한 동사 어종의 정확도를 측정하고 E-복잡도 기반 성능 차이를 분석한다.
• 증분적인 훈련 세트 구성 방식을 사용하여 동사 어종 빈도가 모델 정확도와 일반화 능력에 미치는 영향을 분리한다.

실험 결과

연구 질문

• RQ1 최신 신경망 형태론 재형성 모델은 Nen, 즉 저자원이지만 극도로 복잡한 형태론을 지닌 언어에서 어떻게 성능을 발휘하는가?
• RQ2 훈련 데이터 구성, 특히 동사 유형의 분포가 모델 정확도와 일반화 능력에 어느 정도 영향을 미치는가?
• RQ3 신경망 모델은 명시적 애너테이션 없이도 희박한 데이터에서 암묵적인 언어 패턴, 예를 들어 비틀림을 유추할 수 있는가?
• RQ4 형태론적 재형성 시스템에서 Nen 언어에 가장 흔한 오류 유형은 무엇이며, 이는 형태음운 규칙이나 코퍼스 특성과 어떻게 관련되는가?
• RQ5 모델의 예측 행동은 훈련 예제가 최소일 경우에도 인간과 유사한 일반화를 반영하는가?

주요 결과

• 동사 어종 분포가 균일한 데이터로 훈련된 모델이 더 높은 정확도를 보였으며, E-복잡도가 가장 낮은 접두어형 동사에서 가장 우수한 성능을 보였다.
• Aharoni & Goldberg (2017) 모델은 100건 중 81건에서 제2형 단수 과거 완료형을 제3형과 동일시하여 비틀림 패턴을 잘 유추함을 보였다.
• Makarov & Clematide (2018) 모델은 더 강한 비틀림 편향을 보였으며, 100건 중 90건에서 미리 보지 못한 제2형 단수 형태를 제3형과 동일시하여 예측했다.
• 이형성 오류가 가장 흔한 오류 유형이었으며, 이는 형태음운 규칙이나 기능 매핑의 잘못된 적용을 반영한다.
• 자유 변동은 새로운 오류 하위 범주로 규명되었으며, 이는 코퍼스가 자연어 발화에서 유래했기 때문에 발생했고, 모델의 실패 때문이 아니었다.
• 무작위 샘플링과 지프형 샘플링 간에 유의미한 차이가 없었으며, 지프형 샘플링은 약간의 접두어형 동사 빈도를 과대 표현하여 전체 정확도 패턴에 영향을 주었다.