[논문 리뷰] Latin BERT: A Contextual Language Model for Classical Philology

David Bamman, Patrick J. Burns|arXiv (Cornell University)|2020. 09. 21.

Natural Language Processing Techniques참고 문헌 46인용 수 28

한 줄 요약

이 논문은 기원전 200년부터 현재까지의 64270만 토큰에 이르는 라틴어 텍스트를 기반으로 사전 훈련한 문맥 기반 언어 모델인 Latin BERT를 소개한다. 이 모델은 품사 태깅에서 최고 성능을 기록하며, 어휘의 의미 해석, 텍스트 복원, 의미 기반 검색 기능을 지원한다. 모델과 데이터는 학술적 목적을 위해 공개되어 있다.

ABSTRACT

We present Latin BERT, a contextual language model for the Latin language, trained on 642.7 million words from a variety of sources spanning the Classical era to the 21st century. In a series of case studies, we illustrate the affordances of this language-specific model both for work in natural language processing for Latin and in using computational methods for traditional scholarship: we show that Latin BERT achieves a new state of the art for part-of-speech tagging on all three Universal Dependency datasets for Latin and can be used for predicting missing text (including critical emendations); we create a new dataset for assessing word sense disambiguation for Latin and demonstrate that Latin BERT outperforms static word embeddings; and we show that it can be used for semantically-informed search by querying contextual nearest neighbors. We publicly release trained models to help drive future work in this space.

연구 동기 및 목표

• 라틴어에 특화된 문맥 기반 언어 모델을 개발하여, 자원이 제한된 역사적 언어인 라틴어의 NLP 성능을 향상시키기 위함이다.
• 라틴어에서 핵심 NLP 작업인 품사 태깅 및 어휘의 의미 해석 정확도를 향상시키기 위함이다.
• 텍스트 수정 및 상호텍스트성 탐지와 같은 전통적 고전학 연구를 지원하기 위해 계산 기반 방법을 도입하기 위함이다.
• 라틴어 어휘의 의미 해석 평가를 위한 새로운 데이터셋을 구축하고 공개하기 위함이다.
• 문맥 기반 임베딩이 고전 텍스트의 의미 기반 검색 및 최근접 이웃 검색에 어떻게 활용될 수 있는지 보여주기 위함이다.

제안 방법

• 퍼시우스, 인터넷 아카이브, 파트로로기아 라티나 등 다양한 출처에서 확보한 64270만 토큰의 라틴어 텍스트 코퍼스를 기반으로 BERT 기반 모델을 사전 훈련한다.
• 세 개의 라틴어 트리뱅크에서 Universal Dependency 데이터셋을 사용해 미세조정하여 품사 태깅에서 최고 성능을 달성한다.
• 루이스와 숏의 라틴어 사전을 기반으로 하여 새로운 어휘의 의미 해석 데이터셋을 구축하여 모델 성능 평가에 활용한다.
• 최종 BERT 레이어에서 추출한 문맥 표현을 활용해 코사인 유사도를 계산하여, 텍스트 맥락 내에서 의미 유사성 기반의 최근접 이웃 검색을 수행한다.
• 텍스트 복원 작업에 모델을 적용하여 누락된 단어 예측 및 고전 문헌에서의 비판적 수정 지원 기능을 수행한다.
• 연구 공동체가 재현성과 향후 개발을 위해 GitHub를 통해 훈련된 모델, 관련 코드 및 데이터를 공개한다.

실험 결과

연구 질문

• RQ1 BERT와 같은 문맥 기반 언어 모델이 라틴어의 품사 태깅에서 다국어 및 정적 임베딩 기반 모델보다 최고 성능을 기록할 수 있는가?
• RQ2 정적 단어 임베딩 대비 Latin BERT가 라틴어의 어휘의 의미 해석 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 Latin BERT는 문맥 기반 최근접 이웃 검색을 통해 의미적으로 유사한 어구나 문장 조각을 얼마나 효과적으로 식별할 수 있는가?
• RQ4 Latin BERT는 고전 문헌에서 누락되거나 수정된 단어의 확률을 추정하여 텍스트 비판에 기여할 수 있는가?
• RQ5 표준 NLP 작업 외의 분야에서 문맥 기반 임베딩은 고전 철학 연구에 어떤 실질적 응용을 가능하게 하는가?

주요 결과

• Latin BERT는 라틴어의 세 개의 Universal Dependency 트리뱅크에서 모두 품사 태깅에서 최고 성능을 기록하며, 이는 이전의 모든 모델을 능가한다.
• 루이스와 숏의 라틴어 사전을 기반으로 한 새로운 데이터셋에서 Latin BERT는 정적 단어 임베딩을 뛰어넘는 어휘의 의미 해석 정확도를 확보한다.
• Latin BERT를 활용한 문맥 기반 최근접 이웃 검색은 의미적으로 유사한 어구를 성공적으로 복원하며, 'audentes fortuna iuvat'의 다양한 형태와 같은 상호텍스트적 변형도 식별한다.
• 텍스트 복원 작업에서 Latin BERT는 의미적으로 관련된 어구 간에 높은 코사인 유사도 점수(예: 0.834–0.837)를 기록하며 뛰어난 성능을 보인다.
• 모델의 문맥 기반 표현은 형태적 및 문법적 차이가 있더라도 어휘의 다양성과 의미 유사성을 효과적으로 포착한다.
• 훈련된 모델, 코드, 데이터셋의 공개는 라틴어 NLP 및 디지털 고전학 분야의 향후 연구를 촉진할 것으로 기대된다.