[논문 리뷰] Lemmatization of Historical Old Literary Finnish Texts in Modern Orthography

Mika Hämäläinen, Niko Partanen외 1명|arXiv (Cornell University)|2021. 07. 07.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 오래된 문학적 핀란드어 텍스트를 현대 핀란드 철자법으로 동시에 정규화하고 어간화하는 데 기반한 신경망 기반 접근법을 제시한다. 마이카엘 아그리콜라의 텍스트에서 96.3%의 정확도를 달성했고, 도메인 외의 현대적 역사적 텍스트에서는 87.7%의 정확도를 기록했다. 이 방법은 공개된 파이썬 라이브러리로 구현되었으며, 오픈 리서치 사용을 위해 제노도에 배포되었다.

ABSTRACT

Texts written in Old Literary Finnish represent the first literary work ever written in Finnish starting from the 16th century. There have been several projects in Finland that have digitized old publications and made them available for research use. However, using modern NLP methods in such data poses great challenges. In this paper we propose an approach for simultaneously normalizing and lemmatizing Old Literary Finnish into modern spelling. Our best model reaches to 96.3\\% accuracy in texts written by Agricola and 87.7\\% accuracy in other contemporary out-of-domain text. Our method has been made freely available on Zenodo and Github.

연구 동기 및 목표

• 현재의 핀란드 NLP 시스템에서 지원하지 않는 고대 철자법과 어형을 사용하는 오래된 문학적 핀란드어에 현대 NLP 도구를 적용하는 데 도전하는 것.
• 역사적 핀란드어 텍스트에서 정규화(철자 표준화)와 어간화(어형 축소)를 동시에 수행하는 통합 모델을 개발하는 것.
• 학습에 사용되지 않은 도메인 외의 현대 역사적 텍스트에 대한 일반화 능력을 평가하기 위해 도메인 내 텍스트(Agricola)와 도메인 외의 역사적 텍스트에 대한 모델 성능을 평가하는 것.
• 사용자 친화적이고 오픈소스인 파이썬 라이브러리와 모델 가중치를 배포하여 역사적 핀란드어 텍스트에 대한 재현 가능하고 접근 가능한 연구를 지원하는 것.
• 언어적 및 철자적 장벽으로 아직 활용되지 못한 핀란드의 초기 인쇄 문학 자료 코퍼스에 대한 대규모 NLP 분석을 가능하게 하는 것.

제안 방법

• 시퀀스에서 시퀀스로의 신경망 모델이 오래된 문학적 핀란드어 토큰을 그들의 현대 핀란드 철자법 등가물로 매핑하도록 훈련된다.
• 모델은 정규화와 어간화를 함께 훈련하며, 아그리콜라 코퍼스의 형태구문적 주석에서 유도된 타겟 출력을 사용한다.
• 훈련 데이터에는 마이카엘 아그리콜라와 다른 동시대 자료의 텍스트가 포함되며, 철자 변형은 현대 핀란드 철자법으로 정규화된다.
• 장기적 의존성과 역사적 철자 패턴을 포착하기 위해 어텐션 메커니즘과 양방향 LSTM 레이어를 사용한다.
• 기존 주석과 '고대 문학적 핀란드어 사전'을 사용하여 역사적 토큰을 현대 어간 형태와 정렬하는 맞춤형 전처리 파이프라인을 구현한다.
• 최종 시스템은 NLP 워크플로우에 쉽게 통합할 수 있도록 경량 파이썬 라이브러리(murre)로 팩키징된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 오래된 문학적 핀란드어 텍스트에서 정규화와 어간화를 동시에 효과적으로 수행할 수 있는가?
• RQ2 학습에 사용되지 않은 도메인 외의 역사적 텍스트에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ3 현대 핀란드 철자법으로 매핑했을 때 오래된 문학적 핀란드어의 어간화에 도달할 수 있는 정확도는 어느 정도인가?
• RQ4 기존의 현대 핀란드어 NLP 도구는 이 정규화 모델을 전처리 단계로 활용함으로써 어느 정도 향상될 수 있는가?
• RQ5 공개 배포된 사용자 친화적인 도구가 역사적 핀란드어 코퍼스에 대한 NLP 연구의 진입 장벽을 어떻게 크게 낮출 수 있는가?

주요 결과

• 제안된 모델은 오래된 문학적 핀란드어의 주요 자료원인 마이카엘 아그리콜라의 텍스트에서 96.3%의 정확도를 달성한다.
• 도메인 외의 현대 역사적 텍스트에서는 87.7%의 정확도를 기록하여 강력한 일반화 능력을 입증한다.
• 철자 및 어형 변형을 해결함으로써 모델은 현대 NLP 파이프라인에 역사적 핀란드어 텍스트의 사용 가능성을 크게 향상시킨다.
• 정규화와 어간화를 하나의 신경 시퀀스-투-시퀀스 프레임워크에 통합함으로써 순차적 처리보다 뛰어난 성능을 달성한다.
• 제노도와 깃허브에 모델과 파이썬 라이브러리를 배포함으로써 연구자들과 개발자들이 즉각적으로 재현 가능하게 사용할 수 있다.
• 이 연구는 오래된 문학적 핀란드어를 위한 기초가 되는 NLP 파이프라인을 구축하여, 계산적 역사어학 및 디지털 인문학 연구의 새로운 길을 열었다.