[論文レビュー] DAG-based Long Short-Term Memory for Neural Word Segmentation

Chen Xin-chi, Zhan Shi+2 more|arXiv (Cornell University)|Jul 2, 2017

Natural Language Processing Techniques参考文献 23被引用数 8

ひとこと要約

本稿では、語彙に基づく有向無閉路グラフ（DAG）を構築することで、語レベルの情報を文字ベースの系列分類に統合する新しいニューラルアーキテクチャ、DAG-LSTMを提案する。このモデルはDAG構造のLSTMを用いて文字と語の埋め込みを統合し、3つのベンチマークで最先端の性能を達成する。特に、未知語を含む状況でも外部語彙の活用により顕著な性能向上が見られる。

ABSTRACT

Neural word segmentation has attracted more and more research interests for its ability to alleviate the effort of feature engineering and utilize the external resource by the pre-trained character or word embeddings. In this paper, we propose a new neural model to incorporate the word-level information for Chinese word segmentation. Unlike the previous word-based models, our model still adopts the framework of character-based sequence labeling, which has advantages on both effectiveness and efficiency at the inference stage. To utilize the word-level information, we also propose a new long short-term memory (LSTM) architecture over directed acyclic graph (DAG). Experimental results demonstrate that our model leads to better performances than the baseline models.

研究の動機と目的

• 効率的な系列分類フレームワークを維持したまま、語レベルの情報を文字ベースのニューラル語区切りに統合すること。
• 従来の語ベースモデルにおけるビームサーチや語長制約の限界を克服し、DAG構造による正確な推論を可能にすること。
• 未知語（OOV）に強い一般化性能を実現するため、語彙内語（IV）に対する強力なドロップアウト戦略の開発。
• 医療や特許文書など低リソースまたはドメイン特化した文書設定において、外部辞書を効果的に活用できること。
• ベースラインモデルを上回る区切り精度を達成するとともに、推論効率を維持すること。

提案手法

• 各エッジが事前に定義された語彙からの語に対応する有向無閉路グラフ（DAG）を構築し、文字の部分列をカバーする。
• DAG構造のLSTM（DAG-LSTM）ネットワークを設計し、DAGの到着エッジからの語埋め込みと文字埋め込みを組み合わせて、各位置の入力を処理する。
• 訓練時に語彙内語（IV）のドロップアウト戦略を導入し、未知語（OOV）に対する耐性を高め、一般化性能を向上させる。
• DAG-LSTMを用いて文字と語の両方の文脈的依存関係を同時にモデル化し、文字と語レベルの表現を統合的に学習する。
• 標準的なタグ（B, M, E, S）を用いた系列分類に適用し、文字レベル推論の効率性を維持する。
• 事前学習済みの文字埋め込みと外部コーパスからの語埋め込みを活用し、クロスエントロピー損失を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 語レベルの情報は、推論効率を損なわせることなく、文字ベースの系列分類フレームワークに効果的に統合可能か？
• RQ2 DAG-LSTMアーキテクチャは、標準LSTMやバイグラムモデルと比較して、区切り精度とOOV語への耐性において優れているか？
• RQ3 外部語彙は、希少語や専門用語を含むドメイン特化文書において、どの程度モデル性能を向上させるか？
• RQ4 提案されたIV語ドロップアウト戦略は、未知語の埋め込みを必要とせず、一般化性能を向上させるか？
• RQ5 DAG-LSTMは、ビームサーチによる不正確な推論や語長制約を回避しながら、既存の語ベースモデルを上回る性能を達成できるか？

主な発見

• DAG-LSTMモデルはMSRAデータセットでマクロ-F1スコア96.47を達成し、バイグラムベースライン（95.71）とユニグラムベースライン（94.14）を上回った。
• 全語彙を使用した場合、MSRAで96.47 F1、CTBで96.31 F1、PKUで95.89 F1を記録し、全データセットで一貫した性能向上を示した。
• 最大語長4の設定でもMSRAで96.26 F1を達成し、適切にモデル化された長語が性能向上に寄与していることが確認された。
• 事例研究により、テスト語彙を用いてDAGを構築した場合、語彙内語（例：'adulthood'）とOOV語（例：'subsidy rate'）の両方を正しく区切り得ることが確認された。
• IV語ドロップアウト戦略により、全語彙を使用した場合にOOV語で68.54% F1を達成し、希少語への一般化性能が顕著に向上した。
• 語彙に含まれる語の数を増やすに従い、性能が単調に向上し、全語彙を用いた際の96.47 F1でピークに達した。