[論文レビュー] Combining Discrete and Neural Features for Sequence Labeling

Jie Yang, Zhiyang Teng+2 more|arXiv (Cornell University)|Aug 24, 2017

Topic Modeling参考文献 44被引用数 36

ひとこと要約

本稿では、離散的マニュアル特徴（例：手作業で設計されたCRF特徴）とLSTMベースのニューラルCRFモデルからのニューラル特徴を統合する共同順序ラベリングモデルを提案する。両方の特徴タイプを統合することで、中国語および英語のタスクにおいて、離散的特徴のみまたはニューラル特徴のみを使用するモデルよりも一貫して優れた性能を発揮し、単語区切り、品詞タギング、固有表現抽出の分野で最先端の結果を達成した。

ABSTRACT

Neural network models have recently received heated research attention in the natural language processing community. Compared with traditional models with discrete features, neural models have two main advantages. First, they take low-dimensional, real-valued embedding vectors as inputs, which can be trained over large raw data, thereby addressing the issue of feature sparsity in discrete models. Second, deep neural networks can be used to automatically combine input features, and including non-local features that capture semantic patterns that cannot be expressed using discrete indicator features. As a result, neural network models have achieved competitive accuracies compared with the best discrete models for a range of NLP tasks. On the other hand, manual feature templates have been carefully investigated for most NLP tasks over decades and typically cover the most useful indicator pattern for solving the problems. Such information can be complementary the features automatically induced from neural networks, and therefore combining discrete and neural features can potentially lead to better accuracy compared with models that leverage discrete or neural features only. In this paper, we systematically investigate the effect of discrete and neural feature combination for a range of fundamental NLP tasks based on sequence labeling, including word segmentation, POS tagging and named entity recognition for Chinese and English, respectively. Our results on standard benchmarks show that state-of-the-art neural models can give accuracies comparable to the best discrete models in the literature for most tasks and combing discrete and neural features unanimously yield better results.

研究の動機と目的

• 離散的マニュアル特徴とニューラル特徴を組み合わせることで、単独で使用するいずれのアプローチよりも順序ラベリング性能が向上するかどうかを調査すること。
• 単語区切り、品詞タギング、固有表現抽出といった複数の基本的NLPタスクにわたり、特徴統合の有効性を体系的に評価すること。
• 中国語および英語の標準NLPデータセットを用いて、ニューラル特徴統合による最先端性能のベンチマークを確立すること。
• 再現可能性および今後の研究利用を目的として、LSTMおよびCRFモデルのオープンソース実装を公開すること。

提案手法

• 各タスクのベースライン離散モデルとして、手作業で設計された離散的特徴を備えた条件付きランダムフィールド（CRF）モデルを用いる。
• 入力シーケンスから密で分散型のニューラル特徴を自動的に抽出するために、別個の長短期記憶（LSTM）ネットワークを採用する。
• 離散的CRFモデルとニューラルCRFモデルの予測結果を、出力層を統合することで共同予測モデルを構築する。
• 中国語および英語の標準ベンチマークデータセット上で、交差エントロピー損失を最適化手法として用いて、共同モデルをエンドツーエンドで学習する。
• 入力として単語埋め込みをLSTM層に供給し、生テキストデータから低次元の実数値表現を捉える。
• テストセットにおける標準評価指標（F1スコア、正答率）を用いて、モデル間の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 離散的マニュアル特徴とニューラル特徴を統合することで、単一の特徴タイプのみを使用するモデルよりも一貫した性能向上が達成できるか？
• RQ2 離散的特徴とニューラル特徴は、それぞれが捉える情報の種類が異なり、それらがどの程度補完的か？
• RQ3 単語区切り、品詞タギング、NERのような順序ラベリングタスクにおいて、共同モデルが最先端のシステムを上回るか？
• RQ4 中国語および英語という異なる言語と、異なるNLPタスクにおいて、特徴統合による利点が一貫しているか？
• RQ5 ニューラル特徴統合が、リソースが限られた環境や曖昧な文脈において、再現率と適合率にどのような影響を与えるか？

主な発見

• 共同モデルは、すべてのタスクおよび言語において、離散的特徴のみまたはニューラル特徴のみのモデルを一貫して上回り、例外がない。
• 中国語単語区切りにおいて、PKUデータセットでF1スコア95.66を達成し、最良の離散モデル（95.64）および最良のニューラルモデル（95.68）を上回った。
• 英語品詞タギングでは、97.47%の正答率を達成し、最先端システム（97.24%）を0.23ポイント上回った。
• 中国語品詞タギングでは、95.07%の正答率を達成し、最先端システム（94.10%）を0.97%上回った。
• NERでは、英語で82.57%のF1スコア、中国語で76.40%を達成し、それぞれ最先端システム（80.10%および75.02%）を上回った。
• 個々の文におけるF1スコアの分布から、離散的モデルとニューラルモデルが異なる予測を下しており、それらが補完的であることが確認された。