[論文レビュー] Neural Word Segmentation Learning for Chinese

Deng Cai, Hai Zhao|arXiv (Cornell University)|Jun 14, 2016

Natural Language Processing Techniques参考文献 46被引用数 32

ひとこと要約

この論文は、文字レベルの表現とLSTMベースのスコアリングモデルを用いて、固定されたコンテキスト窓を排除し、分割履歴を直接モデル化する、中国語語彙区切りのための新規なニューラルフレームワークを提案する。手動で特徴を設計しない状態で、エンドツーエンドの学習により単語表現と文レベルの整合性を同時に学習することで、ベンチマークデータセット上で最先端または競争力のある性能を達成する。

ABSTRACT

Most previous approaches to Chinese word segmentation formalize this problem as a character-based sequence labeling task where only contextual information within fixed sized local windows and simple interactions between adjacent tags can be captured. In this paper, we propose a novel neural framework which thoroughly eliminates context windows and can utilize complete segmentation history. Our model employs a gated combination neural network over characters to produce distributed representations of word candidates, which are then given to a long short-term memory (LSTM) language scoring model. Experiments on the benchmark datasets show that without the help of feature engineering as most existing approaches, our models achieve competitive or better performances with previous state-of-the-art methods.

研究の動機と目的

• 既存の系列ラベル付け手法における固定サイズのコンテキスト窓と不完全なタグ履歴の制限を解消すること。
• 文字列からの直接的な分散表現の学習により、手動で特徴を設計することへの依存を排除すること。
• 完全な分割履歴と文の整合性を評価する直接的な構造的学習タスクとして語彙区切りを形式化すること。
• 文字レベルの表現とLSTMベースの文スコアリングにより、語の尤度をモデル化することで、区切り精度を向上させること。

提案手法

• モデルは、各候補語に対して文字埋め込みのゲート付き結合ネットワークを適用することで、分散表現を生成する。
• 履歴に含まれる以前に分割された語の系列をLSTMネットワークで符号化し、長距離依存関係と文レベルの整合性を捉える。
• スコア関数は、完全な分割履歴を条件として個々の語候補のスコアを合算することで、文の分割の尤度を評価する。
• 動的計画法を用いてデコードを行い、局所的コンテキスト窓に依存せずに最高スコアの分割系列を特定する。
• 単語表現は事前学習済みの文字埋め込みで初期化され、リソースが限られた状況や希少語のケースでの性能向上に寄与する。
• システム全体は確率的勾配降下法を用いてエンドツーエンドで学習され、区切りタスクのF1スコアを最適化する。

実験結果

リサーチクエスチョン

• RQ1 中国語語彙区切りのためのニューラルモデルは、手動で特徴を設計せず、固定コンテキスト窓を排除しても競争力のある性能を達成できるか？
• RQ2 完全な分割履歴をモデル化することで、直前のタグのみを考慮する標準的な系列ラベル付けと比較して、性能がどの程度向上するか？
• RQ3 文字埋め込みから導出される単語レベルの表現が、語彙区切り精度をどの程度向上できるか？
• RQ4 単語候補と文の整合性を同時にモデル化するエンドツーエンドの学習フレームワークは、以前の最先端手法を上回る性能を発揮するか？

主な発見

• 提案手法は、手動で特徴を設計しないPKUデータセットで最先端のF1スコアを達成し、以前のニューラルネットワークベースの手法を上回った。
• MSRデータセットでは、デコード時に最大6文字の語を許容することで、F1スコアが0.3%向上した。
• デコード時の最大語長を延ばすほどモデルの性能が向上し、より長い語を捉えることで区切り精度が向上することを示している。
• フレームワークは計算的にも効率的であり、単一のCPUで50エポック、約2日間で学習が可能で、RAM使用量は800MB未満である。
• 事前学習済みの文字埋め込みの使用により、性能がさらに向上し、リソースが限られた環境における転移学習の価値を示している。
• アブレーションスタディの結果、完全な履歴モデリングを含む本格的なモデルは、制限されたコンテキストや履歴符号化なしのバージョンよりも顕著に優れた性能を示した。