[論文レビュー] A German Corpus for Fine-Grained Named Entity Recognition and Relation Extraction of Traffic and Industry Events

Martin Schiersch, Veselina Mironova+4 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 14被引用数 13

ひとこと要約

本稿では、ニュースリリース、Twitter、交通情報からなる2,598件のドキュメントから構成される多ジャンルのドイツ語コーパスを提示する。このコーパスは、通り、停留所、経路などの詳細な地理的エンティティと、事故、渋滞、ストライキなどの交通・産業イベントに関連する15種類のn-ary関係をアノテーション済みである。このコーパスにより、詳細なNERおよびn-ary関係抽出システムの学習と評価が可能となり、ゴールスタンダードNER入力を用いた場合、場所タイプのエンティティではF1スコアが0.85〜0.92、関係抽出ではF1スコア0.28を達成した。

ABSTRACT

Monitoring mobility- and industry-relevant events is important in areas such as personal travel planning and supply chain management, but extracting events pertaining to specific companies, transit routes and locations from heterogeneous, high-volume text streams remains a significant challenge. This work describes a corpus of German-language documents which has been annotated with fine-grained geo-entities, such as streets, stops and routes, as well as standard named entity types. It has also been annotated with a set of 15 traffic- and industry-related n-ary relations and events, such as accidents, traffic jams, acquisitions, and strikes. The corpus consists of newswire texts, Twitter messages, and traffic reports from radio stations, police and railway companies. It allows for training and evaluating both named entity recognition algorithms that aim for fine-grained typing of geo-entities, as well as n-ary relation extraction systems.

研究の動機と目的

• 移動および産業文脈におけるドイツ語の多ジャンル的・多言語的で詳細なNERおよび関係抽出リソースの不足に対処すること。
• 特定のイベント（渋滞、ストライキ、鉄道代替サービスなど）を、ルートや停留所といった正確な地理的エンティティに関連付けて検出するためのシステムの学習と評価を支援すること。
• Twitter、ニュース、公式交通レポートなど多様なソースからの非公式・公式・短縮形（電報形式）の言語を捉えるリソースを提供すること。
• 現実世界の多様なテキストストリームにおいて、詳細な固有表現認識およびn-ary関係抽出の両方の評価を可能にすること。
• ドイツ語NLP分野におけるイベントおよび地理的エンティティ理解の研究を促進するため、大規模でアノテーション済みのコーパスを公開すること。

提案手法

• 2016年1月から3月にかけて収集された3,789,803件のツイート、412,652件のRSSフィード、860,307件のニュースドキュメントを対象とし、langid.pyを用いてドイツ語に絞り込んだ。
• テキスト、メタデータ、アノテーションを含む標準化されたAvroエンコード形式のスキーマに変換し、ジャンル間での一貫性を確保した。
• 14種類のエンティティタイプ（例：loc-str, loc-sto, org-com, tri）と15種類のn-ary関係タイプ（例：accident, traffic jam, strike）を含む包括的なアノテーションスキームを定義。役割ベースの引数構造を採用。
• アノテーターがガイドラインに従い、詳細な地理的エンティティおよびイベント関係をラベル付け。n-ary関係におけるネストされたおよびオプションの引数に対しても特別な処理を実施。
• CRFベースのNERモデルをコーパス上で学習・評価し、トークンレベルおよびコンセプトレベルで性能を測定。
• 依存関係ベースの関係抽出モデル（DARE）を、ゴールスタンダードNER入力および予測されたNER出力を用いて評価し、エンドツーエンドの性能を評価。

実験結果

リサーチクエスチョン

• RQ1 詳細な地理的エンティティおよびn-ary関係アノテーションを備えた多ジャンルのドイツ語コーパスは、移動および産業分野におけるNERおよび関係抽出システムの性能向上に寄与するか？
• RQ2 特に通りや停留所といった詳細な場所サブタイプに対して、NERモデルの性能はエンティティタイプごとにどのように変化するか？
• RQ3 予測されたNER出力と比較して、ゴールスタンダードNERアノテーションを用いることで、n-ary関係抽出システムのF1スコアはどの程度向上するか？
• RQ4 既存の関係抽出モデルは、非公式および電報形式のテキストにおける複雑な複数引数イベント（例：鉄道代替サービス、ストライキ）をどの程度効果的に捉えられるか？
• RQ5 ニュースレター、ソーシャルメディア、公式交通レポートを統合した1つのコーパスは、イベントおよび地理的エンティティ検出のためのNLPシステムのジャンル別評価を可能にするか？

主な発見

• コーパスには2,598件のドキュメントが含まれ、22,075件のエンティティおよび1,507件の関係アノテーションを含み、Twitter、ニュース、公式交通レポートなど多様なジャンルをカバーしている。
• CRFベースのNERモデルは、トークンレベルでF1スコア0.8469、コンセプトレベルでF1スコア0.7343を達成。場所タイプのエンティティ（例：loc-str, loc-sto）ではF1スコアが0.85〜0.92の範囲に達した。
• n-ary関係抽出に関しては、DAREモデルがゴールスタンダードNER入力を用いた場合、F1スコア0.2818を達成したのに対し、予測されたNER出力を用いた場合はF1スコア0.2043にとどまった。
• ゴールスタンダードと予測されたNER入力の間の性能差は、下流の関係抽出タスクにおける正確なエンティティ認識の重要性を示している。
• このコーパスは、非公式・公式・電報形式のテキストの両方を対象とし、NLPモデルの行動に関するジャンル別分析を可能にしている。
• データセットはAVRO形式で公開されており、スキーマおよびリーダー・ツールは https://dfki-lt-re-group.bitbucket.io/smartdata-corpus で入手可能。