[論文レビュー] Generalisation in Named Entity Recognition: A Quantitative Analysis

Isabelle Augenstein, Leon Derczynski+1 more|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|Jan 11, 2017

Topic Modeling参考文献 43被引用数 4

ひとこと要約

この論文は、多様なテキストジャンルにおける名前付きエンティティ認識（NER）の一般化課題を定量的に分析し、未観測の名前付きエンティティおよび未知語（OOV）特徴がF1スコアを著しく低下させることを明らかにした。特にソーシャルメディアやウェブコンテンツにおいて顕著である。また、最先端のNERモデル、特に表面形の記憶に依存するモデルは、学習データを超えた一般化に苦労することが示された。SENNAは単語埋め込みのおかげで最も優れた性能を示したが、性能の低下要因として、コーパスサイズや特徴の疎らさよりも、未観測の名前付きエンティティの割合が最も強く関連していた。

ABSTRACT

Named Entity Recognition (NER) is a key NLP task, which is all the more challenging on Web and user-generated content with their diverse and continuously changing language. This paper aims to quantify how this diversity impacts state-of-the-art NER methods, by measuring named entity (NE) and context variability, feature sparsity, and their effects on precision and recall. In particular, our findings indicate that NER approaches struggle to generalise in diverse genres with limited training data. Unseen NEs, in particular, play an important role, which have a higher incidence in diverse genres such as social media than in more regular genres such as newswire. Coupled with a higher incidence of unseen features more generally and the lack of large training corpora, this leads to significantly lower F1 scores for diverse genres as compared to more regular ones. We also find that leading systems rely heavily on surface forms found in training data, having problems generalising beyond these, and offer explanations for this observation.

研究の動機と目的

• 多くのNERシステムは、言語的変異や未観測エンティティを含む、多様でユーザ生成コンテンツ（例：ソーシャルメディア）に対して一般化に失敗する。
• 既存の研究では、エンティティの多様性、文脈の変動性、OOV特徴が、ジャンルをまたいでNERパフォーマンスに与える影響を定量的に分析した研究が不足している。
• 本研究の目的は、特にリソースが限られた多様なコーパスにおいて、NERの性能低下の主な要因を特定することである。
• 研究者たちは、学習データの表面形の記憶が、一般化性能の悪化を説明するのか、また、より大きなまたはドメイン適応された学習データがこれを緩和できるのかを評価することを目的としている。
• 未観測の名前付きエンティティおよび特徴の役割を理解することは、実世界のNLP応用における耐障害性を向上させるために不可欠である。

提案手法

• 実験では、Stanford NER、SENNA、CRFSuiteという3つの最先端NERシステムを、ニューズリポート、ラジオ放送ニュース、ブログ、電話会話、Usenetをカバーする6つのベンチマークコーパスで比較した。
• コーパスには、CoNLL（ニューズリポート）、MUC-7（ニューズリポート）、ACE（マルチジャンル）、OntoNotes（マルチジャンル）、Ritter Twitter、MSM 2013が含まれており、広範なカバレッジを確保した。
• 性能評価にはF1スコア、精度、再現率を用い、未観測の名前付きエンティティおよびOOV特徴に特に注目した。
• 未観測の名前付きエンティティとは、テストセットに存在するが訓練セットに存在しないエンティティを指す。OOV特徴とは、訓練中に観測されなかった語彙的または構文的特徴を指す。
• 記憶ベースラインを用いて、訓練で観測された各トークン列に対して最も頻出するNEラベルを予測することで、性能を予測した。
• コーパス分析により、エンティティの多様性、文脈の変動性、特徴の疎らかさを定量化し、これらをシステムパフォーマンスと相関させた。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 異なるNERアプローチが、多様なコーパスでどのように性能を示すか？
• RQ2 RQ2: NERパフォーマンスは、異なるテキストジャンルやコーパスによってどのように変動するか？
• RQ3 RQ3: エンティティの多様性がシステムパフォーマンスに与える影響は何か？
• RQ4 RQ4: OOV特徴、OOVエンティティ、F1スコアの間にはどのような関係があるか？
• RQ5 RQ5: NER手法はドメイン外に一般化できるか。未観測の名前付きエンティティがパフォーマンスに与える影響は何か？

主な発見

• SENNAは、すべてのコーパスで最高のF1スコアを達成し、深層学習ベースの単語埋め込みのおかげで、Stanford NER や CRFSuite を上回った。
• NE数が最も多いにもかかわらず、OntoNotes NW は CoNLL よりも低いF1スコアを示しており、コーパスサイズそのものがパフォーマンスを向上させることを保証しないことが示された。
• 未観測の名前付きエンティティの割合が高いコーパスでは、F1スコアが著しく低下し、すべてのモデルで未観測NEのパフォーマンスは、観測済みNEより約17ポイント低いことがわかった。
• CoNLL ニューズリポートコーパスが最高のF1スコアを達成したのは、未観測エンティティの割合が最も低かったためであり、エンティティの多様性がパフォーマンスの主要な予測要因であることが確認された。
• 記憶ベースライン（各トークン列に対して最も頻出するNEラベルを予測）は、システムの正確性を強く予測しており、モデルが学習データの表面形を強く記憶していることが示された。
• ドメイン外での学習は、ドメイン外記憶ベースラインがドメイン内ベースラインを上回らない限り、顕著なパフォーマンス低下を引き起こす。これは、一般化のためにはドメインの整合性が極めて重要であることを示唆している。