[論文レビュー] ALBERTI, a Multilingual Domain Specific Language Model for Poetry Analysis

Javier de la Rosa, Álvaro Pérez Pozo+2 more|arXiv (Cornell University)|Jul 3, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、12言語にまたがる1200万以上の詩的句を含む多言語Bertを用いたドメイン特化型事前学習（DSP）により、1200万以上の詩的句を対象に事前学習された、最初の多言語ドメイン特化型言語モデル「Alberti」を紹介する。スペイン語の詩節分類および韻律パターン予測において最先端の性能を達成し、ドイツ語ではルールベースのシステムでさえも上回り、多言語環境下における詩の分析におけるDSPの有効性を示している。

ABSTRACT

The computational analysis of poetry is limited by the scarcity of tools to automatically analyze and scan poems. In a multilingual settings, the problem is exacerbated as scansion and rhyme systems only exist for individual languages, making comparative studies very challenging and time consuming. In this work, we present extsc{Alberti}, the first multilingual pre-trained large language model for poetry. Through domain-specific pre-training (DSP), we further trained multilingual BERT on a corpus of over 12 million verses from 12 languages. We evaluated its performance on two structural poetry tasks: Spanish stanza type classification, and metrical pattern prediction for Spanish, English and German. In both cases, extsc{Alberti} outperforms multilingual BERT and other transformers-based models of similar sizes, and even achieves state-of-the-art results for German when compared to rule-based systems, demonstrating the feasibility and effectiveness of DSP in the poetry domain.

研究の動機と目的

• 詩の分析、特に韻律分析や構造的分析のための多言語計算ツールの不足に応えること。
• 多言語モデルやルールベースのシステムに見られる言語間一般化能力の欠如やスケーラビリティの限界を克服すること。
• 詩的コーパスを用いたドメイン特化型事前学習（DSP）が、複数言語における詩特化NLPタスクの性能向上に寄与するかどうかを検証すること。
• 今後のデジタル・ヒューマニティーズおよびNLP分野の研究を支援するため、多言語詩特化型言語モデルとデータセットを公開すること。

提案手法

• 12言語にまたがる1200万以上の詩的句を含む洗練されたコーパスを用いて、マスク言語モデル（MLM）を用いたドメイン特化型事前学習により、多言語Bert（mBERT）を微調整した。
• 詩の分析タスク（例：詩節タイプ分類、韻律パターン予測）をテキスト分類問題に再定式化し、トランスファー学習の利点を活用した。
• 公共のソースから得た多言語詩コーパスを基に、スペイン語、英語、ドイツ語およびその他の言語の詩的形式を含むデータセットを構築し、モデルを学習した。
• 内在的性能は多言語詩ベンチマーク（PULPO）における perplexity で評価し、外在的性能は下流分類タスクで評価した。
• AUCスコアとF1スコアを用いて、Albertiの性能をmBERTおよび他のベースラインと比較した。
• 再現可能性および多言語詩NLP分野におけるさらなる研究を促進するため、Albertiのモデル重みと学習コーパスを公開した。

実験結果

リサーチクエスチョン

• RQ1 一般多言語モデルと比較して、多言語詩コーパスを用いたドメイン特化型事前学習が、詩特化NLPタスクの性能向上に寄与するか。
• RQ2 詩の微調整を施した多言語言語モデルが、mBERTやその他のTransformerベースのモデルよりも詩節タイプ分類および韻律パターン予測で優れた性能を示すか。
• RQ3 1つの多言語モデルが、ドイツ語やスペイン語のような複雑な韻律規則を持つ言語を含め、多様な詩的形式と言語にどれほど一般化できるか。
• RQ4 詩のテキストで学習したドメイン特化型言語モデルが、ルールベースのシステムでさえも上回る、韻律パターン予測の最先端の結果を達成できるか。
• RQ5 内在的および外在的評価指標を用いて測定した場合、モデルが言語的および構造的詩的特徴をどれほど的確に捉えられるか。

主な発見

• AlbertiはPULPOの perplexity ベンチマークでmBERTを上回り、平均 perplexity が83.31と低く、詩的テキストにおける言語モデルの性能が優れていることを示した。mBERTの128.64と比較して顕著な改善が得られた。
• スペイン語の詩節タイプ分類において、AlbertiはTercetilloの平均AUCスコアが0.9857、Rom. arte mayorでは最大0.9998を記録し、mBERTの最高AUC0.9857を大きく上回った。
• ドイツ語の韻律パターン予測において、Albertiはルールベースのシステムをも凌駕し、Lira形式のAUCが0.9981を記録し、最先端の結果を達成した。
• Cuarteto形式ではF1スコア0.9767、Copla mixta形式では0.9975を達成し、多様な詩的構造への強力な一般化能力を示した。
• モデルは言語間転送能力が強く、12言語すべてで内在的（perplexity）および外在的（分類）評価において一貫した改善を示した。
• Albertiおよびその学習コーパスの公開により、今後の多言語詩分析の基盤が整い、言語的伝統にわたる大規模な比較研究が可能になった。