[논문 리뷰] From FreEM to D'AlemBERT: a Large Corpus and a Language Model for Early Modern French

Simon Gabay, Pedro Ortiz Suárez외 5명|arXiv (Cornell University)|2022. 02. 18.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 16세기에서 18세기에 걸친 초기 현대 프랑스어(16th–18th centuries)를 대상으로 한 대규모 코퍼스인 FreEM max와 이 코퍼스를 기반으로 미리 훈련된 RoBERTa 기반 언어 모델인 D’AlemBERT을 소개한다. 품사 태깅 작업에 대한 미세조정 결과, 최신 기술 수준의 성능을 기록하였으며, 자원이 풍부한 시기에서 자원이 부족한 시기로의 전이 학습 효과가 뚜렷하여, 저자원 역사적 NLP 작업에 모델의 효과성을 입증한다.

ABSTRACT

Language models for historical states of language are becoming increasingly important to allow the optimal digitisation and analysis of old textual sources. Because these historical states are at the same time more complex to process and more scarce in the corpora available, specific efforts are necessary to train natural language processing (NLP) tools adapted to the data. In this paper, we present our efforts to develop NLP tools for Early Modern French (historical French from the 16$^ ext{th}$ to the 18$^ ext{th}$ centuries). We present the $ ext{FreEM}_{ ext{max}}$ corpus of Early Modern French and D'AlemBERT, a RoBERTa-based language model trained on $ ext{FreEM}_{ ext{max}}$. We evaluate the usefulness of D'AlemBERT by fine-tuning it on a part-of-speech tagging task, outperforming previous work on the test set. Importantly, we find evidence for the transfer learning capacity of the language model, since its performance on lesser-resourced time periods appears to have been boosted by the more resourced ones. We release D'AlemBERT and the open-sourced subpart of the $ ext{FreEM}_{ ext{max}}$ corpus.

연구 동기 및 목표

• 역사적으로 중요한 언어이지만 계산적으로 도전적인 언어 상태인 초기 현대 프랑스어의 어휘 자원 부족과 복잡성 문제를 해결한다.
• 언어적 다양성이 더 큰 역사적 언어일수록 현대 언어보다 자원이 적고 처리하기 어려운 모순을 해결한다.
• 초기 현대 프랑스어에 특화된 고품질의 대규모 코퍼스(FreEM max)와 맥락 기반 언어 모델(D’AlemBERT)을 개발한다.
• 동일한 언어 상태 내에서 저자원 시기의 성능을 평가하여, 역사적 NLP에서 전이 학습의 유용성을 입증한다.
• D’AlemBERT 모델과 FreEM max 코퍼스의 일부를 오픈소스 라이선스 하에 공개하여 디지털 인문학 및 역사적 NLP 분야의 연구를 지원한다.

제안 방법

• 16세기에서 18세기에 걸친 초기 현대 프랑스어 텍스트를 대상으로 한 대규모이고 정제된 코퍼스인 FreEM max를 구축하였다. 이는 여러 디지털 아카이브와 역사 자료에서 수집된 자료를 기반으로 하였다.
• FreEM max 코퍼스를 기반으로 마스크된 언어 모델링 목적함수를 사용하여 RoBERTa 기반 언어 모델인 D’AlemBERT을 미리 훈련시켰다.
• 표준 벤치마크 데이터셋을 사용하여 초기 현대 프랑스어의 품사 태깅 작업에 D’AlemBERT을 미세조정함으로써 전이 학습을 적용하였다.
• 자원이 풍부한 시기와 자원이 부족한 하위 기간을 포함한 다양한 시기의 성능을 평가하여 모델의 전이 가능성 여부를 분석하였다.
• 표준 NLP 평가 지표(예: 정확도, F1 점수)를 사용하여 D’AlemBERT이 이전 최신 기술 수준의 모델들과 비교하여 성능을 평가하였다.
• D’AlemBERT 모델 가중치와 FreEM max 코퍼스의 일부를 오픈소스 라이선스 하에 공개하여 재현 가능성과 향후 연구를 지원하였다.

실험 결과

연구 질문

• RQ1 초기 현대 프랑스어의 대규모이고 정제된 코퍼스는 고성능 맥락 기반 언어 모델을 훈련하는 데 기여할 수 있는가?
• RQ2 FreEM max에 기반한 RoBERTa 기반 모델은 초기 현대 프랑스어의 하류 NLP 작업(예: 품사 태깅)에서 이전의 최신 기술 수준의 모델을 능가하는가?
• RQ3 자원이 풍부한 하위 기간에서의 전이 학습이 자원이 부족한 하위 기간의 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 모델과 코퍼스는 향후 역사적 프랑스어의 NLP 작업(예: 명명된 실체 인식, 공호성 분석)의 기초가 될 수 있는가?
• RQ5 역사적으로 다양하고 표준화되지 않은 언어를 대상으로 훈련할 경우, 모델의 일반화 능력과 견고성에 어떤 영향을 미치는가?

주요 결과

• D’AlemBERT는 초기 현대 프랑스어의 품사 태깅 벤치마크에서 이전 최신 기술 수준의 모델들을 능가하여 더 높은 정확도와 F1 점수를 기록하였다.
• 모델는 강력한 전이 학습 능력을 보였으며, 자원이 풍부한 하위 기간에서 훈련된 후 자원이 부족한 하위 기간의 성능이 뚜렷이 향상되었다.
• FreEM max 코퍼스는 완전히 오픈소스화되지는 않았지만, 상당한 부분이 공개되어 있어 고품질의 역사적 프랑스어 텍스트 데이터에 광범위한 접근성을 제공한다.
• RoBERTa 기반 아키텍처는 초기 현대 프랑스어에서 흔히 볼 수 있는 형태어휘적 및 철자적 다양성을 효과적으로 다룰 수 있었다.
• 제한된 자원과 이질적인 자원을 가진 역사적 언어에 특화된 언어 모델을 훈련시키는 것이 가능하고 가치가 있음을 결과가 입증하였다.
• D’AlemBERT와 FreEM max의 일부를 공개함으로써 디지털 인문학 및 역사적 NLP 분야의 향후 연구를 위한 새로운 기준과 기반을 마련하였다.