[論文レビュー] A Discourse-Level Named Entity Recognition and Relation Extraction Dataset for Chinese Literature Text

Jingjing Xu, Wen Ji+2 more|arXiv (Cornell University)|Nov 19, 2017

Topic Modeling参考文献 19被引用数 33

ひとこと要約

本稿は、中国文学における議論的レベルの名前付きエンティティ認識（NER）および関係抽出（RE）のためのデータセットを紹介する。このデータセットは、ヒューリスティックルールとマシン支援タギングを用いて、データ不足と不整合性を解消する。726編の記事（10万文字以上）から構築されたこのデータセットにより、最先端のモデルがNERで最高71.33、REで55.3のF1スコアを達成し、中国文学テキストにおける統合NERとREのための新しいベースラインを確立する。

ABSTRACT

Named Entity Recognition and Relation Extraction for Chinese literature text is regarded as the highly difficult problem, partially because of the lack of tagging sets. In this paper, we build a discourse-level dataset from hundreds of Chinese literature articles for improving this task. To build a high quality dataset, we propose two tagging methods to solve the problem of data inconsistency, including a heuristic tagging method and a machine auxiliary tagging method. Based on this corpus, we also introduce several widely used models to conduct experiments. Experimental results not only show the usefulness of the proposed dataset, but also provide baselines for further research. The dataset is available at https://github.com/lancopku/Chinese-Literature-NER-RE-Dataset

研究の動機と目的

• 中国文学における名前付きエンティティ認識（NER）および関係抽出（RE）のための高品質で議論的レベルのデータセットが不足している問題に対処すること。
• 比喩的表現や人格化表現などの曖昧なエンティティおよび関係を文書に注釈付ける際のデータ不整合性を解消すること。
• ヒューリスティックな曖昧性解消ルールとマシン補助ラベル付けを組み合わせた2段階タギングパイプラインの開発および検証により、注釈の効率性と一貫性を向上させること。
• 今後の中国文学テキストにおける統合NERとRE研究のためのベンチマークデータセットと強力なベースラインを提供すること。
• 新規データセット上で広く用いられるモデルを評価し、NERおよびREタスクのパフォーマンスベンチマークを確立すること。

提案手法

• 文脈の連続性を保ったまま、726編の中国文学記事から構築された議論的レベルのデータセットを提案する。
• 一般的な曖昧性解消ルール（例：エンティティの頭部のみをタグ付けし、形容詞を除外する）を用いたヒューリスティックタギング法を導入し、エンティティラベリングの標準化を図る。
• マシン補助タギング法を実装：ラベル付け済みサブセットでモデルを学習し、残りのデータに対してラベルを予測することで、アノテーターの作業負荷を削減し、主に合致しない部分に集中する。
• 頻度に基づく注釈ガイドラインを伴う、7つのエンティティタグ（例：Person, Thing, Location, Time）と10の関係タグ（例：Part-Whole, Family, Located）の包括的セットを定義する。
• NERにはbi-LSTMとCRFモデルを、REにはさまざまなニューラルおよび従来的手法（SVM, RNN, CNN, LSTM）を用い、F1スコアを評価指標とする。
• すべてのモデルで固定ハイパーパrameter（バッチサイズ32、100次元埋め込み）を用いたミニバッチ確率的勾配降下法を採用して学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 中国文学テキストにおける曖昧なエンティティおよび関係の注釈におけるデータ不整合性は、どのようにして効果的に軽減できるか？
• RQ2 文単位のアプローチと比較して、議論的レベルの文脈はNERおよびREモデルのパフォーマンスにどの程度向上効果をもたらすか？
• RQ3 最先端のモデルを用いた中国文学テキストにおける統合NERとREのパフォーマンスベースラインは何か？
• RQ4 この新規データセット上で、異なる特徴工学的手法とニューラルネットワークアーキテクチャのF1スコアは、どのように比較されるか？
• RQ5 マシン補助タギングは、高いラベル一貫性を維持しつつ、人的注釈作業を著しく削減できるか？

主な発見

• CRFモデルがNERで最高71.33のF1スコアを達成し、Bi-LSTM（66.19）を上回った。これは構造的特徴テンプレートの利点を示している。
• CRFモデルはPersonで70.19、Locationで58.42、Metricタグで49.74のF1スコアを記録し、頻度が高く識別が容易なエンティティで高いパフォーマンスを発揮した。
• 関係抽出では、SDP-LSTMモデルが最高55.3のF1スコアを達成し、SVM（48.9）や他のニューラルモデルを上回った。
• Bi-LSTMモデルはNERで64.63のF1スコアを達成し、PersonおよびThingタグで高い精度（67.07）だが、再現率（62.37）が低く、カバー率の向上の余地があることが示された。
• ヒューリスティックルールとマシン支援補正による検証を経た、高品質なデータセット注釈は、曖昧な文学的参照においても一貫性のあるラベリングを可能にした。
• これらの結果により、今後の研究のための強力なベースラインが確立され、CRFおよびSDP-LSTMが提案されたコーパスで最も優れたパフォーマンスを発揮することが明らかになった。