[論文レビュー] Multi-Criteria Chinese Word Segmentation with Transformer

Xipeng Qiu, Hengzhi Pei+2 more|arXiv (Cornell University)|Jun 28, 2019

Natural Language Processing Techniques参考文献 20被引用数 10

ひとこと要約

本稿では、基準インジケータに条件付けられた共有完全結合自己注意機構を活用することで、複数基準の中国語語断片化（CWS）を統合的に処理するTransformerベースのモデルを提案する。8つの多様なCWSデータセット（それぞれ異なる断片化基準を反映）を同時に学習することで、単一基準アプローチに比べ、すべてのコーパスで顕著な性能向上を達成した。

ABSTRACT

Different linguistic perspectives cause many diverse segmentation criteria for Chinese word segmentation (CWS). Most existing methods focus on improving the performance of single-criterion CWS. However, it is interesting to exploit these heterogeneous segmentation criteria and mine their common underlying knowledge. In this paper, we propose a concise and effective model for multi-criteria CWS, which utilizes a shared fully-connected self-attention model to segment the sentence according to a criterion indicator. Experiments on eight datasets with heterogeneous segmentation criteria show that the performance of each corpus obtains a significant improvement, compared to single-criterion learning.

研究の動機と目的

• 異なる言語的視点から見た中国語語断片化（CWS）における断片化基準の不一致の問題に対処すること。
• 多様なCWS基準間の共有される潜在的知識を同定し、全体的な断片化性能を向上させること。
• 複数の断片化基準を同時に効果的に処理できる単一の統合モデルを開発すること。
• 多基準学習を活用することで、従来の単一基準CWS手法を上回ること。

提案手法

• 入力文を処理するために共有完全結合自己注意機構を採用し、断片化基準を基準インジケータトークンで示す。
• 各データセットが異なる言語的断片化基準を反映する複数のCWSデータセット上で、エンドツーエンドに学習する。
• 基準インジケータが、特定の言語的ルールや基準に応じて断片化出力を適応的に調整するように自己注意機構を制御する。
• アーキテクチャにより、異なる基準間でパラメータを共有することで、知識の転送とモデル効率性を促進する。
• トレーニング中にすべての断片化基準を同時に最適化することで、一般化性能と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統合的なディープラーニングモデルは、複数の異種中国語語断片化基準を効果的に処理できるか？
• RQ2 複数のCWS基準を同時に学習することで、単一基準学習に比べてどの程度の性能向上が達成できるか？
• RQ3 基準間で共有された注意機構は、より良い一般化と向上した断片化精度をもたらすか？
• RQ4 再トレーニングなしで、1つのモデルが多様な言語的基準において強力な性能を発揮できるか？

主な発見

• 提案手法は、単一基準学習ベースラインに比べ、8つのCWSデータセットすべてで顕著な性能向上を達成した。
• 複数基準にわたる共同学習により、多様な言語的基準において一般化性能が向上し、断片化精度が向上した。
• 基準インジケータと共有自己注意機構を組み合わせることで、1つのアーキテクチャ内で異なる断片化ルールに効果的に適応できるようになった。
• モデルは強力な転送性を示し、異種CWSコーパスにおいても高い性能を維持した。