[論文レビュー] Unified Multi-Criteria Chinese Word Segmentation with BERT

Zhen Ke, Liang Shi+4 more|arXiv (Cornell University)|Apr 13, 2020

Natural Language Processing Techniques参考文献 21被引用数 13

ひとこと要約

本稿では、文脈表現とバイグラム特徴、および補助基準分類タスクを統合した統一的BERTベースのモデルを提案し、Multi-Criteria Chinese Word Segmentation (MCCWS) に適用する。この手法は、統一フレームワークを通じて共有表現を活用することで、CRFデコードを必要としないにもかかわらず、先行するマルチタスクおよび統一モデルを上回る最先端の性能を8つのデータセットで達成した。

ABSTRACT

Multi-Criteria Chinese Word Segmentation (MCCWS) aims at finding word boundaries in a Chinese sentence composed of continuous characters while multiple segmentation criteria exist. The unified framework has been widely used in MCCWS and shows its effectiveness. Besides, the pre-trained BERT language model has been also introduced into the MCCWS task in a multi-task learning framework. In this paper, we combine the superiority of the unified framework and pretrained language model, and propose a unified MCCWS model based on BERT. Moreover, we augment the unified BERT-based MCCWS model with the bigram features and an auxiliary criterion classification task. Experiments on eight datasets with diverse criteria demonstrate that our methods could achieve new state-of-the-art results for MCCWS.

研究の動機と目的

• 複数の多様な基準を同時に満たす形での中国語語彙分割の課題に対処すること。
• 統一フレームワークと事前学習されたBERT表現の長所を組み合わせることで、MCCWSの性能を向上させること。
• バイグラム特徴の統合と補助基準分類ヘッドの導入により、モデルの一般化性能とOOV語の取り扱いを向上させること。
• CRFデコードを排除し、並列計算を活用したエンド・ツー・エンド学習に依存することで、より効率的な推論を実現すること。
• マルチタスク学習手法と比較して、より効率的かつ効果的なMCCWSフレームワークを確立すること。

提案手法

• 目的の語彙分割基準を条件づけるために、特別な基準トークン（例：<pku>）を入力文に追加する。
• BERTを用いて拡張された入力を文脈的な文字表現にエンコードし、豊富な言語的事前知識を捉える。
• 文字レベルのバイグラム特徴（例：'李娜'）を学習可能な埋め込みに変換し、局所的な文字構成パターンを捉える。
• BERTの隠れ表現とバイグラム埋め込みを統合するためのファージョンゲート機構を採用し、豊富な入力表現を生成する。
• 融合表現間の文脈的相互作用を強化するために、マルチヘッドアテンション層を適用する。
• CRFを用いないマルチレイヤーパーセプトロン（MLP）デコーダーを用いて、CWSラベル（B/M/E/S）を予測し、並列推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 BERTと統一フレームワークを組み合わせることで、マルチタスク学習と比較してMCCWSの性能が向上するか？
• RQ2 バイグラム特徴は、希少語やOOV語に対してどれほど分割精度の向上に寄与するか？
• RQ3 補助基準分類ヘッドを追加することで、異なる語彙分割基準を区別する能力が向上するか？
• RQ4 CRFデコードを排除した統一BERTベースのモデルは、高い効率性を維持しつつ最先端の結果を達成できるか？
• RQ5 本モデルは、多様な語彙分割基準において、未知語（OOV語）への一般化能力をどの程度発揮するか？

主な発見

• 提案された統一BERTモデルは、8つの標準MCCWSデータセットすべてで新たな最先端のF1スコアを達成し、平均F1は97.204にのぼり、Multi-Task BERT やTransformerベースの統一モデルを上回った。
• バイグラム特徴を含まないモデル（‘- Bigram’）の平均F1は97.139であった。これは、バイグラム特徴が性能向上に有意に寄与していることを示している。
• 補助基準分類ヘッドを除いたモデル（‘- CLS’）の平均F1は97.126であった。これは、補助タスクが基準に敏感な表現学習を強化することで、さらに性能向上をもたらしていることを示している。
• OOV語のリCALL性能において、完全なモデルは8つのデータセットのうち5つで最高またはほぼ最高の結果を達成し、希少語や未学習語への一般化能力が優れていることを示した。
• 平均F1とOOVリCALLの両面で、以前の最良手法であるMulti-Task BERTを上回った。これは、BERTを統合した統一フレームワークの有効性を裏付けた。
• CRFデコードが不要であるため、完全な並列処理が可能となり、推論が高速かつ効率的になった。これは、リアルタイム応用に適したモデルであることを示している。