[論文レビュー] Neural Chinese Word Segmentation with Dictionary Knowledge

Junxin Liu, Fangzhao Wu+3 more|arXiv (Cornell University)|Jul 11, 2018

Natural Language Processing Techniques参考文献 14被引用数 4

ひとこと要約

本稿では、辞書知識を統合することでニューラル中国語語彙分割（CWS）を向上させる2つのエンドツーエンド手法を提案する：疑似ラベル付きデータの生成と語彙分類タスクを用いたマルチタスク学習。実験の結果、特にリソースが限られた条件下でも顕著な性能向上が得られ、辞書統合によりOOV語の処理が改善され、大規模なラベル付きデータセットへの依存度が低下することが示された。

ABSTRACT

Chinese word segmentation (CWS) is an important task for Chinese NLP. Recently, many neural network based methods have been proposed for CWS. However, these methods require a large number of labeled sentences for model training, and usually cannot utilize the useful information in Chinese dictionary. In this paper, we propose two methods to exploit the dictionary information for CWS. The first one is based on pseudo labeled data generation, and the second one is based on multi-task learning. The experimental results on two benchmark datasets validate that our approach can effectively improve the performance of Chinese word segmentation, especially when training data is insufficient.

研究の動機と目的

• 訓練データが不足する状況で、ニューラルCWSモデルが未知語（OOV語）を処理できないという限界を是正すること。
• 既存の中国語辞書を活用することで、手動による特徴工学を伴わずにモデルの汎化性能を向上させること。
• 辞書情報をニューラルCWSフレームワークに直接統合できるエンドツーエンドで学習可能な手法を開発すること。
• 外部の語彙的知識を組み込むことで、大規模なラベル付きデータセットへの依存度を低減すること。

提案手法

• 中国語辞書からランダムに語を抽出し、有効な文脈に組み合わせることで、疑似ラベル付きの訓練文を生成する。
• 実際のラベル付き文と生成された疑似ラベル付き文の両方でニューラルCWSモデルを学習し、その寄与度を調整する学習可能パラメータ（λ₁）を導入する。
• 別個の語彙分類ヘッドを備えたマルチタスク学習の枠組みを導入し、文字列が有効な中国語語であるかを予測するタスクを併せて学習する。
• CWSタスクと語彙分類タスクの間で低レベルのニューラルネットワークパラメータを共有することで、共同最適化を可能にする。
• 内部辞書（訓練データから構築）と外部辞書（例：Sogou）の両方を用いることで、カバレッジの拡大とモデルのロバストネス向上を図る。
• CWSと語彙分類の目的関数を重み付きで組み合わせた損失関数でモデルを最適化し、λ₂が補助タスクの相対的重要性を制御する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き訓練データが限られる状況でも、辞書知識の統合がニューラルCWSの性能向上に寄与するか？
• RQ2 疑似ラベル付きデータ生成によって辞書情報を統合することで、OOV語に対する一般化性能が向上するか？
• RQ3 語彙分類ヘッドを用いたマルチタスク学習は、標準的なニューラルモデルに比べてCWS性能を向上させるか？
• RQ4 内部辞書と外部辞書は、分類精度向上においてどのように比較されるか？
• RQ5 実際のラベル付きデータ、疑似ラベル付きデータ、および補助語彙分類信号の最適なバランスは何か？

主な発見

• 提案手法は、ベンチマークデータセット上でCWS性能を顕著に向上させ、訓練データが限られる状況でも顕著な改善が得られた。
• 外部辞書（例：Sogou）を用いることで、内部辞書に依存する場合よりも優れた性能が得られた。
• 内部辞書と外部辞書を併用することで最も良い結果が得られ、両者に補完的相互作用があることが示された。
• 辞書サイズが大きくなるほど性能が向上し、広範な語彙カバレッジがモデル学習を促進することが確認された。
• 最適なハイパーパrameter λ₁ と λ₂ が存在する—値が高すぎると、疑似ラベルや補助信号に過剰に重みを置きすぎて性能が低下する。
• 事例研究により、標準モデルが正しく分割できない「被害者」のようなOOV語や「一気に」のようなレアフレーズも、モデルが正しく分割していることが確認された。