[논문 리뷰] ALBERTI, a Multilingual Domain Specific Language Model for Poetry Analysis

Javier de la Rosa, Álvaro Pérez Pozo외 2명|arXiv (Cornell University)|2023. 07. 03.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 다국어 도메인 특화 언어 모델인 Alberti를 소개한다. 이 모델은 12개 언어에서 1200만 개 이상의 시적 구절을 다국어 BERT 기반 도메인 특화 미사전학습(DSP)으로 사전학습하였다. Alberti는 스페인어 스탠자 분류 및 운율 패턴 예측에서 최신 기술 수준의 성능을 기록했으며, 독일어에서는 mBERT와 심지어 룰 기반 시스템을 능가하여 다국어 환경에서의 시 분석을 위한 DSP의 효과성을 입증하였다.

ABSTRACT

The computational analysis of poetry is limited by the scarcity of tools to automatically analyze and scan poems. In a multilingual settings, the problem is exacerbated as scansion and rhyme systems only exist for individual languages, making comparative studies very challenging and time consuming. In this work, we present extsc{Alberti}, the first multilingual pre-trained large language model for poetry. Through domain-specific pre-training (DSP), we further trained multilingual BERT on a corpus of over 12 million verses from 12 languages. We evaluated its performance on two structural poetry tasks: Spanish stanza type classification, and metrical pattern prediction for Spanish, English and German. In both cases, extsc{Alberti} outperforms multilingual BERT and other transformers-based models of similar sizes, and even achieves state-of-the-art results for German when compared to rule-based systems, demonstrating the feasibility and effectiveness of DSP in the poetry domain.

연구 동기 및 목표

• 시 분석을 위한 다국어 컴퓨팅 도구의 부족, 특히 운율 분석 및 구조적 분석에 초점을 맞춘다.
• 단일 언어 모델과 룰 기반 시스템의 한계를 극복하여 다국어 간 일반화 능력과 확장성을 확보한다.
• 시 문체 데이터셋에 기반한 도메인 특화 미사전학습(DSP)이 다양한 언어에서 시 전용 NLP 과제의 성능 향상에 기여하는지 탐구한다.
• 다국어 시 분석에 기여할 수 있는 언어 모델 및 데이터셋을 공개하여 향후 디지털 인문학 및 NLP 분야의 연구를 지원한다.

제안 방법

• 12개 언어의 1,200만 개 이상의 시적 구절을 포함한 정제된 코퍼스를 사용하여 다국어 BERT(mBERT)를 마스크 언어 모델링(MLM)을 활용한 도메인 특화 미사전학습으로 미세조정한다.
• 스탠자 유형 분류 및 운율 패턴 예측과 같은 시 분석 과제를 전이 학습을 활용하기 위해 텍스트 분류 문제로 재구성한다.
• 공개된 자료에서 유래한 다국어 시 데이터셋을 기반으로 모델을 훈련시켰으며, 스페인어, 영어, 독일어 등 다양한 언어의 시 양식을 포함한다.
• 내재적 성능 평가로 다국어 시 기준(PULPO)에서의 난이도를, 외재적 성능 평가로 하류 분류 과제에서의 성능을 측정하였다.
• ROC-AUC 및 F1 점수를 사용하여 Alberti의 성능을 mBERT 및 기타 기준 모델과 비교하였다. 특히 스탠자 분류 및 운율 예측 과제에서의 성능을 평가하였다.
• 모델 가중치와 훈련 코퍼스를 모두 공개하여 재현 가능성과 다국어 시 NLP 분야의 향후 연구를 지원한다.

실험 결과

연구 질문

• RQ1 일반적인 다국어 모델에 비해 다국어 시 문체 데이터셋에 기반한 도메인 특화 미사전학습(DSP)이 시 전용 NLP 과제의 성능 향상에 기여하는가?
• RQ2 시 데이터셋에 맞춰 미세조정된 다국어 언어 모델이 스탠자 유형 분류 및 운율 패턴 예측 과제에서 mBERT 및 기타 트랜스포머 기반 모델을 능가하는가?
• RQ3 복잡한 운율 규칙을 가진 언어들, 예를 들어 독일어 및 스페인어를 포함한 다양한 시 양식과 언어 간에 단일 다국어 모델이 얼마나 잘 일반화되는가?
• RQ4 시 텍스트에 기반한 도메인 특화 언어 모델이 룰 기반 시스템과 비교하여 운율 패턴 예측 과제에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 내재적 및 외재적 평가 지표로 측정했을 때, 모델이 다양한 언어에서 시의 언어적 및 구조적 특징을 얼마나 잘 포착하는가?

주요 결과

• Alberti는 PULPO 난이도 기준에서 mBERT보다 떨어지지 않아 평균 난이도 83.31을 기록했으며, mBERT의 128.64보다 낮아 시 텍스트에 대한 언어 모델링 능력이 뛰어나다는 것을 시사한다.
• 스페인어 스탠자 유형 분류 과제에서 Alberti의 평균 AUC 점수는 Tercetillo의 경우 0.9857, Rom. arte mayor의 경우 최대 0.9998로 나타났으며, mBERT의 최고 성능인 0.9857보다 뚜렷이 뛰어나다.
• 독일어 운율 패턴 예측 과제에서 Alberti는 룰 기반 시스템을 능가하는 최신 기술 수준의 성능을 기록했으며, Lira 양식의 경우 AUC 점수가 0.9981을 기록하였다.
• Cuarteto 양식에서 F1 점수는 0.9767, Copla mixta 양식에서는 0.9975를 기록하여 다양한 시 양식 간의 강력한 일반화 능력을 입증하였다.
• 모델는 내재적(난이도) 및 외재적(분류) 평가에서 12개 언어 전반에 걸쳐 일관된 향상 효과를 보이며 강력한 다국어 간 전이 능력을 보였다.
• Alberti와 그 훈련 코퍼스의 공개는 향후 다국어 시 분석을 위한 기초 자원을 제공하며, 언어적 전통 간 대규모 비교 연구를 가능하게 한다.