[論文レビュー] Multi-Task Learning with Contextualized Word Representations for Extented Named Entity Recognition

Thai-Hoang Pham, Khai Mai+5 more|arXiv (Cornell University)|Feb 26, 2019

Topic Modeling参考文献 31被引用数 3

ひとこと要約

本稿では、文脈化された単語表現（ELMo）を用いたエンドツーエンドのマルチタスク学習フレームワークを提案し、手動の特徴工学や辞書作成を一切行わず、細粒度命名エンティティ認識（FG-NER）で最先端の性能を達成した。階層的パラメータ共有と非共有のニューラル言語モデルを用いて、FG-NERと補助タスク（句切り分けや品詞タグ付けなど）を同時に学習することで、F1スコア83.35%を達成し、膨大な手作業に依存していた先行のSOTAシステムを上回った。

ABSTRACT

Fine-Grained Named Entity Recognition (FG-NER) is critical for many NLP applications. While classical named entity recognition (NER) has attracted a substantial amount of research, FG-NER is still an open research domain. The current state-of-the-art (SOTA) model for FG-NER relies heavily on manual efforts for building a dictionary and designing hand-crafted features. The end-to-end framework which achieved the SOTA result for NER did not get the competitive result compared to SOTA model for FG-NER. In this paper, we investigate how effective multi-task learning approaches are in an end-to-end framework for FG-NER in different aspects. Our experiments show that using multi-task learning approaches with contextualized word representation can help an end-to-end neural network model achieve SOTA results without using any additional manual effort for creating data and designing features.

研究の動機と目的

• エンドツーエンドのニューラルネットワークにおけるマルチタスク学習の有効性を、細粒度命名エンティティ認識（FG-NER）において調査すること。
• マルチタスクシーケンスラベル付けにおける異なるパラメータ共有方式（埋め込み共有、RNN共有、階層的共有）の効果を評価すること。
• 共有または非共有のニューラル言語モデルを組み込むことで、FG-NERの性能に与える影響を検討すること。
• マルチタスク学習下での文脈化された単語表現（ELMo）と静的埋め込み（GloVe）の比較を検証すること。
• 手動の特徴工学や外部辞書に依存せずに、FG-NERで最先端の性能を達成すること。

提案手法

• ベースモデルは、文字レベルのCNNで拡張された単語埋め込みを用いたCNN-BiLSTM-CRFアーキテクチャを採用している。
• マルチタスク学習は4つのパラメータ共有方式（埋め込み共有、RNN共有、階層的共有、非共有-LM設定）を用いて実装されている。
• 補助タスクには品詞タグ付け、句切り分け、NER（CoNLLおよびOntoNotes）が含まれており、階層的共有ではタスク固有のRNNと共有のCRF層を許容している。
• 文脈化された単語表現は、単語表現と文レベルの依存関係を同時に学習するELMoを用いて得られている。
• ニューラル言語モデルは、タスク間で共有するか、各タスクごとに非共有するかのいずれかで統合され、シーケンスモデリングと一般化性能の向上が図られている。
• モデルの学習は負の対数尤度を最小化するものであり、デコードには最も確率の高いラベルシーケンスを予測するためにビタビアルゴリズムが用いられている。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのFG-NERにおける、異なるパラメータ共有方式を用いたマルチタスク学習の有効性はいかほどか？
• RQ2 静的埋め込み（GloVe）と比較して、文脈化された単語表現（ELMo）を用いることでFG-NERの性能は向上するか？
• RQ3 共有または非共有のニューラル言語モデルを組み込むことで、FG-NERの性能にどのような影響を与えるか？
• RQ4 手動の特徴工学や辞書作成なしに、エンドツーエンドのニューラルネットワークがFG-NERでSOTAの結果を達成できるか？
• RQ5 異なる補助タスク（例：品詞タグ付け、句切り分け、NER）におけるマルチタスク学習の性能はどのように変化するか？

主な発見

• 非共有のニューラル言語モデルを用いた階層的共有マルチタスクモデルが、最高のF1スコア83.35%を達成し、手動の特徴工学を要した先行のSOTAモデル（83.14%）を上回った。
• GloVeからELMoに置き換えることで、ベースモデルのF1スコアは81.51%から82.74%に向上し、長く複雑な命名エンティティに対して文脈化された表現の利点が示された。
• 階層的共有方式は、埋め込み共有やRNN共有モデルを上回り、特にFG-NERとは類似性の低い補助タスク（例：品詞タグ付け、句切り分け）において顕著な性能向上を示し、より良いインダクティブバイアスを示している。
• 非共有のニューラル言語モデルを組み込むことで、共有モデルよりも優れた結果が得られ、特にマルチタスク設定において、タスク固有の言語モデリングが一般化性能を向上させることを示唆している。
• 最良のパフォーマンスを示したモデルは、辞書作成や手作業による特徴設計の一切なしにSOTAの性能を達成しており、マルチタスク学習を用いたエンドツーエンド学習の有効性を裏付けた。
• 長く複雑な命名エンティティにおいて顕著な性能向上が見られ、例として「Public Institution」の認識率はGloVeの80.00%からELMoの95.00%に向上した。これは、文脈化された表現の優位性を強力に示している。