[論文レビュー] A Feature-Enriched Neural Model for Joint Chinese Word Segmentation and Part-of-Speech Tagging

Xinchi Chen, Xipeng Qiu+1 more|arXiv (Cornell University)|Nov 16, 2016

Natural Language Processing Techniques参考文献 25被引用数 3

ひとこと要約

本稿では、畳み込み層を用いて複雑な構成的特徴をモデル化し、プーリングで顕著な特徴を選択し、双方向LSTMで長距離依存関係を捉えることで、中国語の語彙分割と品詞タグ付けを統合的に実行する特徴豊富なニューラルモデルを提案する。このモデルは、手作業で設計された特徴モデルと同等の最先端の性能を達成し、5つのデータセットにおいて以前のニューラルベースラインを上回った。

ABSTRACT

Recently, neural network models for natural language processing tasks have been increasingly focused on for their ability of alleviating the burden of manual feature engineering. However, the previous neural models cannot extract the complicated feature compositions as the traditional methods with discrete features. In this work, we propose a feature-enriched neural model for joint Chinese word segmentation and part-of-speech tagging task. Specifically, to simulate the feature templates of traditional discrete feature based models, we use different filters to model the complex compositional features with convolutional and pooling layer, and then utilize long distance dependency information with recurrent layer. Experimental results on five different datasets show the effectiveness of our proposed model.

研究の動機と目的

• 従来のニューラルモデルが、共同中国語語彙分割と品詞タグ付けにおいて複雑な特徴の組み合わせや長距離依存関係を十分に捉えられていないという限界を是正すること。
• 従来の手作業による特徴設計モデルに内在するモデルの複雑さとデータスパarsityの問題を軽減すること。
• 手動での設計を伴わずに、離散的特徴テンプレートの表現力に類似したカスタムニューラルアーキテクチャを設計すること。
• 階層的特徴学習と長距離コンテキストモデリングを統合することで、共同S&Tタスクの性能を向上させること。

提案手法

• 特徴の複雑な構成的特徴をモデル化するために、文字レベルの入力ウィンドウに畳み込み層を適用し、従来の特徴テンプレートを模倣する。
• 畳み込み出力全体にわたる最も情報量の多い特徴を選択するためにプーリング層を用い、次元削減と表現の強化を実現する。
• 語彙分割と品詞タグ付けの解釈のための必須な長距離コンテキスト依存関係を捉えるために、上部に双方向LSTM層を積み重ねる。
• モデルの深さを増し、学習中の消失勾配問題を緩和するためにハイウェイネットワークを導入する。
• 最適化と一般化を向上させるために、事前学習済みのword2vecベクトルで文字埋め込みを初期化する。
• タグセットは語彙分割タグ（B/M/E/S）と品詞タグの直積によって形成され、このタスクは系列ラベル付け問題として扱われる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは、従来の手作業による特徴設計でモデル化されてきた複雑な特徴の組み合わせを、共同中国語語彙分割と品詞タグ付けにおいて効果的に捉えることができるか？
• RQ2 モデルの複雑さを増さずに、文字レベルの系列ラベル付けにおいて長距離コンテキスト依存関係を効果的にモデリングする方法は何か？
• RQ3 畳み込み特徴抽出と再帰的モデリングを統合することで、標準的なニューラル系列モデルよりも性能が向上するか？
• RQ4 事前学習済みの文字埋め込みは、共同S&Tモデルの性能にどの程度向上効果をもたらすか？
• RQ5 精度と効率の観点から、本稿で提案するアーキテクチャは、以前のニューラルモデルおよび洗練された特徴ベースのモデルと比較して、どの程度優れているか？

主な発見

• 提案モデルは5つのデータセットのうち4つで最高のF1スコアを達成した：CTBで90.39、PKUで90.16、NCCで88.76、CTB-7で85.31。
• CTB5データセットではF1スコアが93.19を達成し、以前の最先端の特徴ベースモデルと同等の性能を示した。
• 提案モデルは以前のニューラルベースラインを著しく上回り、特徴豊富なアーキテクチャの有効性を実証した。
• 事前学習済みの文字埋め込みは顕著な性能向上をもたらし、非凸最適化のためのより良い初期化であることを示した。
• モデルは効率的で、単一のGPUで約10時間で学習が可能であり、メモリ使用量も中程度に抑えられており、実用的なスケーラビリティを示した。
• 事例研究により、長距離コンテキストを用いて曖昧な品詞タグを解消できる能力が確認され、CRFモデルが失敗するようなケースでも優れた性能を発揮した。