[論文レビュー] End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF

Xuezhe Ma, Eduard Hovy|arXiv (Cornell University)|Mar 4, 2016

Topic Modeling参考文献 47被引用数 211

ひとこと要約

文字レベルCNN、単語レベルのBi-LSTM、CRFデコーダを組み合わせたエンドツーエンドのニューラルアーキテクチャを提案し、POSタグ付けとNERのための手作り特徴を用いずに最先端の結果を達成。

ABSTRACT

State-of-the-art sequence labeling systems traditionally require large amounts of task-specific knowledge in the form of hand-crafted features and data pre-processing. In this paper, we introduce a novel neutral network architecture that benefits from both word- and character-level representations automatically, by using combination of bidirectional LSTM, CNN and CRF. Our system is truly end-to-end, requiring no feature engineering or data pre-processing, thus making it applicable to a wide range of sequence labeling tasks. We evaluate our system on two data sets for two sequence labeling tasks --- Penn Treebank WSJ corpus for part-of-speech (POS) tagging and CoNLL 2003 corpus for named entity recognition (NER). We obtain state-of-the-art performance on both the two data --- 97.55\% accuracy for POS tagging and 91.21\% F1 for NER.

研究の動機と目的

• 系列ラベリングにおけるタスク特有の特徴量設計の削減を動機づける。
• 文字レベルと単語レベルの表現を統合するエンドツーエンドのニューラルアーキテクチャを開発する。
• POSタグ付けとNERに跨るCRF層を用いた結合デコーディングの有効性を示す。
• 標準ベンチマーク（POSはPTB WSJ、NERはCoNLL-2003）で評価し、従来の最先端手法と比較する。

提案手法

• CNNを用いて文字レベルの単語表現を抽出する。
• 文字レベル表現と単語埋め込みを結合し、双方向LSTMの入力とする。
• BLSTMの上にCRF層を積み重ねて結合的な系列デコーディングを行う。
• 事前学習済みの単語埋め込み以外は手作り特徴やデータ前処理を行わず、エンドツーエンドで学習する。
• 正則化のためにドロップアウトを適用する。

実験結果

リサーチクエスチョン

• RQ1 手作り特徴を用いないエンドツーエンドのニューラルモデルは、POSタグ付けとNERで最先端の性能を達成できるか？
• RQ2 文字レベルCNNとBLSTMおよびCRFデコーダの統合は、ベースラインと比べて系列ラベリング精度を向上させるか？
• RQ3 さまざまな事前学習済み単語埋め込みでモデルの性能はどうなるか？
• RQ4 ドロップアウトと学習の詳細がモデル性能に与える影響は何か？

主な発見

Model	POS Dev Acc	POS Test Acc	NER Dev Prec	NER Dev Recall	NER Dev F1	NER Test Prec	NER Test Recall	NER Test F1
BRNN	96.56	96.76	92.04	89.13	90.56	87.05	83.88	85.44
BLSTM	96.88	96.93	92.31	90.85	91.57	87.77	86.23	87.00
BLSTM-CNN	97.34	97.33	92.52	93.64	93.07	88.53	90.21	89.36
BRNN-CNN-CRF	97.46	97.55	94.85	94.63	94.74	91.35	91.06	91.21

• WSJ PTBのテストセットで最先端のPOSタグ付け精度を達成（97.55%）。
• CoNLL-2003のテストセットでNERのF1を最先端に達成（91.21%）。
• BLSTM-CNNはBLSTMより優れており、文字レベルの情報が有益であることを示している。
• CRF層デコーディングは、各トークンの独立予測に対して顕著な改善をもたらす。
• エンドツーエンドモデルは異なる事前学習埋め込みでも良好に機能し、GloVe 100Dがしばしば最良となる。
• ドロップアウトは両タスクの性能を大幅に向上させる。