[論文レビュー] Adversarial Multi-Criteria Learning for Chinese Word Segmentation

Xinchi Chen, Zhan Shi+2 more|arXiv (Cornell University)|Apr 25, 2017

Natural Language Processing Techniques参考文献 25被引用数 32

ひとこと要約

この論文は、8つの多様な分離基準を持つコーパスを共有・専用の深層ニューラルネットワークを用いて同時に学習することで、中国語語彙分割（CWS）のための敵対的マルチ基準学習を提案する。共有層に敵対的学習を適用して基準に依存しない特徴を学習させることで、すべてのデータセットで顕著なF1スコアの向上を達成した。これは、異種のコーパスから得られる共有知識がCWS性能を向上させることを示しており、特に簡体字中国語と繁体字中国語の間での転移学習において顕著である。

ABSTRACT

Different linguistic perspectives causes many diverse segmentation criteria for Chinese word segmentation (CWS). Most existing methods focus on improve the performance for each single criterion. However, it is interesting to exploit these different criteria and mining their common underlying knowledge. In this paper, we propose adversarial multi-criteria learning for CWS by integrating shared knowledge from multiple heterogeneous segmentation criteria. Experiments on eight corpora with heterogeneous segmentation criteria show that the performance of each corpus obtains a significant improvement, compared to single-criterion learning. Source codes of this paper are available on Github.

研究の動機と目的

• 中国語NLPコーパス間で一貫性のない分離基準が生じる問題に対処し、データの再利用性とモデルの汎化性能を制限する。
• 異種の分離基準間で共有される潜在的な言語的知識が存在するか、そしてそれがCWS性能の向上に活用可能かどうかを検討する。
• 手動で設計された特徴量や浅いアーキテクチャに依存せずに、複数の基準を効果的に統合できる深層学習フレームワークを開発する。
• 共有表現を用いて簡体字中国語と繁体字中国語のコーパス間で言語的転移を検証する。
• 敵対的学習がマルチ基準CWSにおける基準に依存しない特徴を効果的に抽出できることを示す。

提案手法

• マルチタスク学習フレームワークにおいて、共有層が基準に依存しない特徴を学び、専用層が基準固有の表現を学ぶ、共有・専用アーキテクチャを採用する。
• 文字レベルの入力における順序依存性をモデル化するために、Bi-LSTMネットワークを特徴抽出器として用いる。
• 共有層に対して敵対的学習を適用する：識別器は異なる基準からの特徴を区別するように学習され、共有エンコーダーは識別器をだませるように学習され、不変特徴の学習を促進する。
• 交差エントロピー損失と敵対的損失を組み合わせた新しい目的関数を用い、分離精度と特徴の不変性を同時に最適化する。
• 簡体字中国語と繁体字中国語の両方を含む、多様な分離基準を持つ8つのコーパスでモデルを学習する。
• 転移学習の評価は、まず簡体字中国語コーパスで事前学習を行い、その後、共有重みを固定した状態で繁体字中国語コーパスで微調整する。

実験結果

リサーチクエスチョン

• RQ1 複数の異種分離基準間で共有される特徴が中国語語彙分割性能を向上させることができるか？
• RQ2 マルチ基準CWS設定において、敵対的学習が基準に依存しない特徴を効果的に抽出できるか？
• RQ3 簡体字中国語コーパスからの知識が、繁体字中国語CWSタスクの性能向上に寄与するか？
• RQ4 フォーマルでニュースレター風のコーパスで学習することで、非公式でマイクロブログ形式のテキストでの性能が向上するか？
• RQ5 異なる共有・専用モデルアーキテクチャは、基準間でのパフォーマンスと汎化性においてどのように比較されるか？

主な発見

• 提案された敵対的マルチ基準学習モデルは、単一基準学習ベースラインと比較して、8つのコーパスすべてで顕著なF1スコアの向上を達成した。
• 平均して、5つの簡体字中国語コーパスから3つの繁体字中国語コーパスへの知識転送において、F1スコアが0.41%向上した。
• 8つのフォーマルコーパスで事前学習した後、NLPCC 2016マイクロブログデータセットではF1スコアが0.30%向上し、OOVリコールが3.97%増加した。
• 敵対的学習戦略により、共有層が分離基準に依存しない特徴を学習するよう促進され、汎化性能が向上した。
• 共有・専用アーキテクチャは、専用層を備えない単純なモデルよりも優れた性能を示し、共有と基準固有の表現を分離することの利点を確認した。
• 結果から、繁体字中国語CWSは簡体字中国語で学習した知識から顕著な恩恵を受けることができ、逆もまた然りであることが示され、文字セット間転移の価値が明らかになった。