[論文レビュー] A Dataset of German Legal Documents for Named Entity Recognition

Elena Leitner, Georg Rehm+1 more|arXiv (Cornell University)|Mar 29, 2020

Topic Modeling参考文献 15被引用数 27

ひとこと要約

本論文は、EU Lynxプロジェクトのために開発された、67,000件のドイツ語法的文（200万トークン以上）を含む大規模で手作業でアノテートされたデータセットを提示する。このデータセットには、法律、規則、裁判所の判決など、法的固有のエンティティを含む19の細分化された意味的クラスにまたがる54,000件の名前付きエンティティが含まれる。データセットはCC-BY 4.0ライセンスのもとで公開されており、CoNNL-2002フォーマットで提供され、35,000件以上の自動アノテート済みTimeML時間表現も含む。これにより、ドイツ語法的テキスト向けのドメイン特化型NERシステムの学習が可能となる。

ABSTRACT

We describe a dataset developed for Named Entity Recognition in German federal court decisions. It consists of approx. 67,000 sentences with over 2 million tokens. The resource contains 54,000 manually annotated entities, mapped to 19 fine-grained semantic classes: person, judge, lawyer, country, city, street, landscape, organization, company, institution, court, brand, law, ordinance, European legal norm, regulation, contract, court decision, and legal literature. The legal documents were, furthermore, automatically annotated with more than 35,000 TimeML-based time expressions. The dataset, which is available under a CC-BY 4.0 license in the CoNNL-2002 format, was developed for training an NER service for German legal documents in the EU project Lynx.

研究の動機と目的

• ドイツ語法的文書向けの自由に利用可能なドメイン特化型NERデータセットの不足に対処すること。
• ドイツ連邦裁判所の判決に特化した19の細分化された意味的クラスの包括的タイプロジーの開発。
• ドメイン特化型NERモデルの学習および評価に適した高品質な手作業アノテート済みデータセットの構築。
• 多言語的なヨーロッパにおける法的知識グラフのための意味的キュレーション技術の開発支援。
• EUにおける法的コンプライアンスサービス向けに、強固でドメイン適応型のNERシステムの構築を可能にすること。

提案手法

• ドイツ連邦裁判所の判決文から抽出した67,000文の手作業アノテーション。対象となる意味的エンティティクラスには、人物、判事、裁判所、法律、訓令、規則、法的文献が含まれる。
• 複雑な法的エンティティタイプのアノテーションの一貫性を確保するための標準化されたアノテーションガイドラインの開発。
• ルールベースおよびNLPベースの手法を用いたTimeMLに基づく時間的表現の自動抽出により、時間的メタデータをデータセットに付加。
• 既存のNERツールキットおよび学習パイプラインとの互換性を確保するため、CoNNL-2002フォーマットにデータセットを整形。
• EU Lynxプロジェクトへの統合を通じて、多言語法的ドメインにおけるコンプライアンスサービスの支援。
• オープンな研究と再現可能性を促進するため、CC-BY 4.0ライセンスのもとでデータセットを公開。

実験結果

リサーチクエスチョン

• RQ1 ドイツ語法的文書向けに、最も効果的で細分化された名前付きエンティティタイプロジーとは何か？
• RQ2 ドメイン特化型エンティティクラスを備えた、ドイツ語法的テキスト向けの大規模で高品質なNERデータセットをどのように構築できるか？
• RQ3 既存のNERモデルが、この法的特化型データセット上でどれほど効果的に学習できるか？
• RQ4 自動抽出された時間表現は、法的文書における手作業アノテート済みNERアノテーションをどのように補完するか？
• RQ5 このデータセットは、EUの文脈における多言語法的知識グラフの構築基盤として機能できるか？

主な発見

• データセットには約67,000件の文と200万トークン以上のテキストが含まれており、19の意味的クラスにまたがる54,000件の手作業アノテート済み名前付きエンティティが含まれる。
• 19の細分化されたエンティティタイプ（例：裁判所の判決、法的文献、規則、欧州法的規範）を含み、ドイツ語法的テキストの複雑さを反映している。
• TimeMLを用いた自動アノテーションにより、35,000件以上の時間表現が付加され、時間的推論のためのデータセットの有用性が向上した。
• データセットはCC-BY 4.0ライセンスのもとで公開されており、CoNNL-2002フォーマットで提供され、広範なアクセス性とNLPツールとの互換性を確保している。
• BERTベースのモデルを用いた予備的実験では、性能向上が得られなかったため、汎用言語モデルを法的NERに適応させるには、さらなる調整が必要である可能性を示唆している。
• このデータセットは、ドイツ語法的ドメインにおけるNERシステムの学習および評価の基盤として設計されており、EU Lynxプロジェクトが目指す多言語法的知識グラフの構築を支援する。