[論文レビュー] A Feature-Based Model for Nested Named-Entity Recognition at VLSP-2018 NER Evaluation Campaign

Phạm Quang Minh|arXiv (Cornell University)|Mar 22, 2018

Topic Modeling参考文献 8被引用数 6

ひとこと要約

本稿では、語彙、形状、Brownクラスタ、ワード埋め込み特徴を組み合わせた特徴ベースの条件付き確率場（CRF）モデルを提示し、ベトナム語におけるネスト型名前付きエンティティ抽出（NER）を実現する。主な貢献は、複数のエンティティレベルを統合的にモデリングするための結合BIOタグ（joint-tagモデル）を用いることで、個別モデルよりも顕著に認識精度が向上することを示したことである。VLSP 2018のテストセットにおいて、F1スコアは73.48を達成した。

ABSTRACT

In this report, we describe our participant named-entity recognition system at VLSP 2018 evaluation campaign. We formalized the task as a sequence labeling problem using BIO encoding scheme. We applied a feature-based model which combines word, word-shape features, Brown-cluster-based features, and word-embedding-based features. We compare several methods to deal with nested entities in the dataset. We showed that combining tags of entities at all levels for training a sequence labeling model (joint-tag model) improved the accuracy of nested named-entity recognition.

研究の動機と目的

• 複数のレベルにまたがるネスト型名前付きエンティティを有するベトナム語テキストにおける、その認識課題に対処すること。
• 個別モデルと統合モデリングの両方を比較した場合、ネスト型NER性能に与える影響を評価すること。
• 語彙、形状、Brownクラスタ、ワード埋め込みといった多様な特徴を統合することで、認識精度を向上させること。
• 文分割などの前処理の選択がモデル性能に与える影響を評価すること。
• 構造的で特徴豊富なCRFアプローチを用いて、ベトナム語におけるネスト型NERの強固なベースラインを提供すること。

提案手法

• NERタスクは、BIOタグスキームを用いた系列ラベル付け問題として定式化され、全レベルのエンティティラベルを組み合わせた結合タグ（例：B-PER+I-ORG）が用いられる。
• 現在のトークンを中心とする5トークンのウィンドウ内で、ユニグラムおよびビグラム特徴を用いたCRFモデルが学習される。
• 語彙特徴には、表層形、小文字形、および接尾語/接頭語（長さ1〜4）が含まれる。
• 語彙形状特徴は、希少語や未知語の一般化を向上させるために用いられ、標準的なパターンベースのスキームに従う。
• Brownクラスタリングを用いて意味的に類似した語をグループ化し、そのビットストリング表現を特徴として使用する。
• ワード埋め込みと事前学習済み語クラスタを統合することで、OOV語および希少語の表現学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 複数のネスト型エンティティレベルを結合BIOタグで統合的にモデリングすることで、個別モデルごとの学習と比較してNER性能が向上するか？
• RQ2 語彙、形状、Brownクラスタ、ワード埋め込みといった異なる特徴タイプが、ベトナム語におけるネスト型NER精度にどのように寄与するか？
• RQ3 文分割処理がネスト型NER設定におけるモデル性能に与える影響は何か？
• RQ4 統合モデルと個別モデルを組み合わせたハイブリッドアプローチは、純粋な統合モデルや個別モデルを上回る性能を達成できるか？
• RQ5 ネスト型NER設定において、エンティティタイプ（PER, LOC, ORG, MISC）ごとの認識性能にどのような差が生じるか？

主な発見

• 結合タグモデルは公式テストセットで最高のF1スコア73.48を達成し、個別モデルおよびハイブリッドモデルを上回った。
• 結合モデルは、わずかに精度が低いものの、レベル2エンティティのリ콜が個別モデルよりも向上しており、ネスト構造のカバー率が向上していることが示された。
• 最も優れた成績を収めた実験（Run-6）では、文分割を行わない個別モデルでレベル1のF1が76.63%を記録したが、全体としての性能では依然として結合モデルが優れていた。
• 結合モデルはレベル2のF1を58.12%（Run-3）に達成し、そのエンティティレベルにおいて提出された全実験で最高のスコアを記録した。
• 文分割の有無によるモデル性能の差は最小限にとどまり、このモデルのロバストネスにシーケンス長の影響はほとんどないことが示された。
• テストセット全体でのF1スコアは73.48を達成し、PER（F1=79.49）とLOC（F1=79.45）では高い性能を示したが、ORG（F1=63.33）とMISC（F1=33.64）では低い性能にとどまった。