[論文レビュー] MultiLegalSBD: A Multilingual Legal Sentence Boundary Detection Dataset

Tobias Brugger, Matthias Stürmer+1 more|arXiv (Cornell University)|May 2, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、6ヶ国語の法律文書から13万件を超えるアノテート済み文を含む多言語法的文境界検出（SBD）データセット、MultiLegalSBDを紹介する。既存のSBDモデルは法的文書において性能を発揮しないが、単言語および多言語モデル、特にトランスフォーマー基盤のモデルは、多言語データで96％以上の最先端のF1スコアを達成し、未学習のポルトガル語法的文書においてゼロショット評価で90％を超えるスコアを記録した。

ABSTRACT

Sentence Boundary Detection (SBD) is one of the foundational building blocks of Natural Language Processing (NLP), with incorrectly split sentences heavily influencing the output quality of downstream tasks. It is a challenging task for algorithms, especially in the legal domain, considering the complex and different sentence structures used. In this work, we curated a diverse multilingual legal dataset consisting of over 130'000 annotated sentences in 6 languages. Our experimental results indicate that the performance of existing SBD models is subpar on multilingual legal data. We trained and tested monolingual and multilingual models based on CRF, BiLSTM-CRF, and transformers, demonstrating state-of-the-art performance. We also show that our multilingual models outperform all baselines in the zero-shot setting on a Portuguese test set. To encourage further research and development by the community, we have made our dataset, models, and code publicly available.

研究の動機と目的

• 法的文書処理における堅牢なNLPを阻害する高品質な多言語法的文境界検出（SBD）データセットの不足に対処すること。
• 複雑な文構造、略語、分野固有の書式が特徴の法的文書において、既存のSBDシステムが性能を発揮しないことを示すこと。
• CRF、BiLSTM-CRF、トランスフォーマーのアーキテクチャを用いて、単言語および多言語SBDモデルを開発・評価し、法的文書処理における性能向上を図ること。
• 未学習のポルトガル語法的文書におけるゼロショット転送性能を評価し、多言語間一般化能力を検証すること。
• コミュニティの研究開発を促進するため、データセット、モデル、コードを公開すること。

提案手法

• フランス語、ドイツ語、イタリア語、スペイン語、英語、ポルトガル語の法的文書から13万件を超えるアノテート済み文を含む多言語法的SBDデータセットを収集した。
• 言語固有のニュアンスを考慮しつつも、言語間の一貫性を最優先するため、ドイツ語を母語とし、フランス語に中級レベルのスキルを持つ1名のネイティブドイツ語話者に全言語のアノテーションを担当させた。
• 収集したデータセット上で、CRF、BiLSTM-CRF、トランスフォーマー基盤のアーキテクチャ（例：BERT、XLM-RoBERTa）を用いた単言語および多言語モデルを訓練・評価した。
• モデルの一般化を向上させるために、改行を半角スペースに置換し、特殊文字を正規化するなど、標準的なNLP前処理を実施した。
• 多言語間転送性能をテストするため、ポルトガル語法的文書を対象にゼロショット評価を実施し、モデルタイプごとの性能を比較した。
• ハイパーパrameter最適化およびアーキテクチャの改善を検討し、法的文書に最適化された事前学習モデルや、XLM-RoBERTaなどの大規模なクロスリンガルエンコーダーを活用した。

Figure 1. Mean performance comparison of baseline (green) and our multilingual models (violet) on multilingual legal text (French, Italian, Spanish, English, and German) and a zero-shot experiment on Portuguese data

実験結果

リサーチクエスチョン

• RQ1 フランス語、スペイン語、イタリア語、英語、ドイツ語の法的文書において、既存のSBDシステムの性能はどの程度か？
• RQ2 CRF、BiLSTM-CRF、トランスフォーマーに基づく単言語および多言語モデルを用いることで、SBDの性能をどの程度向上できるか？
• RQ3 多言語モデルは、未学習のポルトガル語法的文書においてゼロショット設定でどの程度の性能を示すか？
• RQ4 引用、リストなどの文構造タイプを、構造化ラベリングによってモデル性能の向上に活用できるか？
• RQ5 異なる言語家系に属する言語、例えばハンガリー語に対しても、多言語間転送は一般化可能か？

主な発見

• 既存のSBDシステムは、多言語法的文書でF1スコア73.5～84.9、ポルトガル語で60.1～79.5を記録しており、法的分野における性能が著しく低いことが示された。
• MultiLegalSBDデータセットで訓練された単言語モデルは、フランス語、ドイツ語、イタリア語、スペイン語、英語の全言語で96.4～97.7の最先端のF1スコアを達成した。
• 多言語トランスフォーマー・モデルは、多言語法的文書で96.4～97.7、ゼロショットポルトガル語テストセットで81.1～92.2のF1スコアを記録し、すべてのベースラインを上回った。
• 多言語トランスフォーマー・モデルはポルトガル語法的文書でF1スコア92.2を達成し、CRFおよびBiLSTM-CRFモデルが法的条文サブセットでベースライン水準まで低下するのに対し、顕著に優れた性能を示した。
• CRFおよびBiLSTM-CRFモデルは、ポルトガル語の判決文では良好な性能（F1約90％）を示したが、法的文書では著しく性能が低下（ベースライン水準まで）し、ゼロショット一般化能力に限界があることが示された。
• 今後の改善策として、文種に特化したラベリング、より良い前処理、法的文書に最適化された、またはXLM-RoBERTaなどの大規模な多言語事前学習モデルの活用が有効であると示唆された。

Figure 2. Sentence length distribution in tokens