[論文レビュー] CAp 2017 challenge: Twitter Named Entity Recognition

Cédric Lopez, Ioannis Partalas+6 more|arXiv (Cornell University)|Jul 24, 2017

Topic Modeling被引用数 11

ひとこと要約

本論文は、約6,000件のアノテート済みツイートと13種類のエンティティタイプを含む、フランス語ツイッター名前付きエンティティ認識（NER）のベンチマークであるCAp 2017チャレンジを提示する。この研究では、公開可能なデータセットを提供し、深層学習およびCRFベースの手法を用いた8つのシステムを評価した。最高性能を示したシステムは、CRFモデルに高品質な特徴工学を適用することで、F1スコア58.59を達成した。

ABSTRACT

The paper describes the CAp 2017 challenge. The challenge concerns the problem of Named Entity Recognition (NER) for tweets written in French. We first present the data preparation steps we followed for constructing the dataset released in the framework of the challenge. We begin by demonstrating why NER for tweets is a challenging problem especially when the number of entities increases. We detail the annotation process and the necessary decisions we made. We provide statistics on the inter-annotator agreement, and we conclude the data description part with examples and statistics for the data. We, then, describe the participation in the challenge, where 8 teams participated, with a focus on the methods employed by the challenge participants and the scores achieved in terms of F$_1$ measure. Importantly, the constructed dataset comprising $\sim$6,000 tweets annotated for 13 types of entities, which to the best of our knowledge is the first such dataset in French, is publicly available at \url{http://cap2017.imag.fr/competition.html} .

研究の動機と目的

• フランス語ツイッターにおける名前付きエンティティ認識（NER）の公開可能なベンチマークを構築すること。これは、リソースが限られている分野である。
• 特に多数のエンティティタイプを含む、短く非公式でノイズの多いソーシャルメディアテキストにおけるNERの課題に対処すること。
• 既存の英語ベンチマークと同等の規模のデータセットを提供することで、多言語NLP分野の研究を促進すること。
• 低リソースでノイズの多いテキストドメインにおいて、深層学習およびCRFベースのシステムを含む多様なNERアプローチを評価すること。
• 外部データやリソースの利用を許可することで、トランスファーラーニングおよびドメイン適応研究を可能にすること。

提案手法

• データセットは、TwitterのパubbリックAPIを用いて収集され、フランス語ネイティブでNER経験を持つ者が手作業でアノテートした。
• 13種類のエンティティタイプ（person, musicartist, organisation, geoloc, product, transportLine, media, sportsteam, event, tvshow, movie, facility, other）を定義する厳密なガイドラインに従ってアノテーションが行われた。
• データセットはトレーニング（4,000件）とテスト（2,685件）に分割され、アノテーター間の一貫性はF1スコア0.786で測定された。
• 参加者は、双方向GRU、手作業特徴を用いたCRF、英語ツイッターからのトランスファーラーニングなど、多様な手法を採用した。
• 特徴工学には、活用的・構文的、語彙的、構文的、分布的表現が含まれ、一部のシステムでは単語埋め込みと文字レベルCNNが使用された。
• 評価には公式指標としてマイクロ平均F1スコアが用いられ、すべてのシステムについて精度、再現率、F1スコアが報告された。

実験結果

リサーチクエスチョン

• RQ1 短く非公式なテキスト、たとえばツイッターのような文脈において、多数のエンティティタイプが存在する場合、NERパフォーマンスにどのような影響を与えるか？
• RQ2 低リソースでノイズの多いテキスト環境において、広範な特徴工学を施したCRFベースのモデルと深層ニューラルネットワークの性能は、どのように比較されるか？
• RQ3 英語NERシステムからのトランスファーラーニングは、フランス語ツイッターNERのパフォーマンス向上にどの程度寄与するか？
• RQ4 低リソース環境において、外部データやリソースの統合がシステムパフォーマンスに与える影響はどの程度か？
• RQ5 ノイズの多いソーシャルメディアテキストにおける、複雑で多様なエンティティタイプを持つNERタスクにおいて、アノテーター間の一貫性はどの程度達成可能か？

主な発見

• CAp 2017チャレンジは、約6,000件のツイートと13種類のエンティティタイプを有する、フランス語NLP分野における基準となるベンチマークとして、初めて公開可能なフランス語ツイッターNERデータセットをリリースした。
• 最高性能を示したシステム（SPMdC17）は、CRFに高品質な活用的・分布的表現および語彙クラスタ特徴を組み合わせることで、F1スコア58.59を達成した。
• 2番目に高いパフォーマンスを示したシステム（GMH17）は、双方向GRUとCRFを組み合わせ、F1スコア58.59を達成した。これは、深層学習を用いながらも、特徴工学の必要性を低減した強力な性能を示している。
• トレーニングセットとテストセットの間で名前付きエンティティが共有された割合は15.7%にとどまり、データのシフトが顕著で、一般化の難易度が高いかつてないことを示している。
• 最高の精度スコア（78.76）を達成したLatticeシステムは、低再現率（31.95）を伴っており、精度と再現率のトレードオフの本質を浮き彫りにしている。
• 最低のF1スコアは21.28（Geolsemantics）であり、特にレアまたは曖昧なエンティティの処理において、システム間でのパフォーマンスのばらつきが顕著であることが示された。