[論文レビュー] Improving Named Entity Recognition for Chinese Social Media with Word Segmentation Representation Learning

Nanyun Peng, Mark Dredze|arXiv (Cornell University)|Mar 2, 2016

Topic Modeling参考文献 30被引用数 30

ひとこと要約

本稿では、中国語SNSにおける名前付きエンティティ認識（NER）のため、語区切り表現をBiLSTM-CRFモデルと統合する共同学習フレームワークを提案する。共有された隠れ表現を活用することで、性能が顕著に向上し、先行研究の最良結果に対して、名詞的エンティティに対して5.3%の絶対的F1スコア向上、名前付きエンティティに対して4.3%の向上を達成した。この手法は、語区切りモデルからの共有埋め込みおよび隠れ状態を用いて、両タスクを共同で学習することで実現された。

ABSTRACT

Named entity recognition, and other information extraction tasks, frequently use linguistic features such as part of speech tags or chunkings. For languages where word boundaries are not readily identified in text, word segmentation is a key first step to generating features for an NER system. While using word boundary tags as features are helpful, the signals that aid in identifying these boundaries may provide richer information for an NER system. New state-of-the-art word segmentation systems use neural models to learn representations for predicting word boundaries. We show that these same representations, jointly trained with an NER system, yield significant improvements in NER for Chinese social media. In our experiments, jointly training NER and word segmentation with an LSTM-CRF model yields nearly 5% absolute improvement over previously published results.

研究の動機と目的

• 中国語SNSテキストにおける名前付きエンティティ認識（NER）の性能を向上させること。これは、非形式的な言語表現や強固な言語的特徴の欠如により、公式なテキストに比べて性能が劣っているためである。
• 最先端の中国語語区切りモデルから学習された表現が、標準的な特徴を超えてNER性能を向上させることを検証すること。
• 語区切りを事前処理された特徴として扱うのでなく、共有表現を用いてNERと語区切りを共同で学習するマルチタスク学習の可能性を調査すること。
• 文字埋め込み、語区切り特徴、および共同学習によるLSTM隠れ状態といった、異なる表現タイプがNER性能に与える影響を評価すること。
• 今後の比較のための、修正済みデータセットを用いた最新で信頼性の高いベンチマーク結果を提供すること。

提案手法

• モデルは、両タスク間で文字レベルの埋め込みとLSTM隠れ表現を共有するBiLSTM-CRFアーキテクチャを用いて、NERと語区切りを共同で処理する。
• 語区切り表現は、SIGHAN 2005 PKUデータセット上で事前学習されたLSTMモデルを介して学習され、NERモデルに統合される。
• 共同学習フレームワークにより、語区切りタスクで学習された文脈に適した豊富な表現をNERモデルが活用でき、静的出力の語区切り結果を特徴量として依存するのではなく、動的で文脈に依存した表現を活用できる。
• エンコーダー（BiLSTM）を共有し、NERと語区切りそれぞれに別個のCRFデコード層を設けることで、エンドツーエンドの学習が可能となり、パラメータ共有と共同最適化が実現される。
• ハイパーパrameterは開発データ上で調整され、テストセットに適用され、更新済みで修正済みのWeibo NERデータセットを用いて結果が報告される。
• モデルのバリエーションを比較する：CRFベースライン、特徴ベースの語区切り、文字埋め込み、埋め込みと隠れ状態の共同学習。

実験結果

リサーチクエスチョン

• RQ1 最先端の語区切りモデルから学習された表現が、中国語SNSにおけるNER性能を向上させることができるか？
• RQ2 語区切りとNERを共有表現を用いて共同で学習することで、語区切りを事前処理特徴として扱う場合よりも優れた結果が得られるか？
• RQ3 語区切りタスクから得られるLSTM隠れ状態の統合は、文字埋め込みのみに比べてNER性能にどの程度寄与するか？
• RQ4 語区切りに使用したデータ（ニュースデータ）とNERに使用したデータ（SNS）とのドメイン不一致が性能に与える影響はどの程度で、共同学習がこれを緩和できるか？
• RQ5 全体の性能向上に寄与する主な要因は、共同学習か、事前学習済み語区切り表現か、それぞれの寄与度はどの程度か？

主な発見

• 共有されたBiLSTM隠れ表現を用いたNERと語区切りの共同学習により、先行研究の最良結果に比べ、名詞的エンティティに対して5.3%の絶対的F1スコア向上を達成した。
• 名前付きエンティティにおいても、4.3%の絶対的F1スコア向上を達成し、これまでに発表された最高の結果を上回った。
• 文字埋め込みとLSTM隠れ状態の両方を共同で学習した場合が最良の性能を示し、名詞的エンティティではF1スコア62.97%、名前付きエンティティでは55.28%を達成した。
• 語区切りモデルを事前学習し、その後NERモデルで微調整することで、F1スコアが2%向上した。これは、全体の向上の半分が語区切り表現そのものに起因していることを示唆している。
• 本モデルは、HeとSun（2017a）およびHeとSun（2017b）の両方を上回り、修正済みデータセット上でも、共同学習アプローチの有効性を示した。
• ドメイン不一致（語区切りにニュースデータ、NERにSNSデータ）が存在するにもかかわらず、強力な性能を発揮した。これは、共有表現がドメインギャップを埋めるのに役立っていることを示唆している。