[論文レビュー] A realistic and robust model for Chinese word segmentation

Chu‐Ren Huang, Ting‐Shuo Yo+2 more|arXiv (Cornell University)|May 21, 2019

Natural Language Processing Techniques参考文献 13被引用数 3

ひとこと要約

この論文は、中国語の分かち書きを文字境界における二値分類問題として扱う、テキスト駆動型の語区切り決定（WBD）モデルを提案する。1,000ベクトル程度の学習データで訓練されたモデルは、SigHAN Bakeoff 3データセットにおいて高いFスコアを達成し、OOVの再現率において先行研究を上回り、少量の学習データでも高い頑健性と適応性を示している。

ABSTRACT

A realistic Chinese word segmentation tool must adapt to textual variations with minimal training input and yet robust enough to yield reliable segmentation result for all variants. Various lexicon-driven approaches to Chinese segmentation, e.g. [1,16], achieve high f-scores yet require massive training for any variation. Text-driven approach, e.g. [12], can be easily adapted for domain and genre changes yet has difficulty matching the high f-scores of the lexicon-driven approaches. In this paper, we refine and implement an innovative text-driven word boundary decision (WBD) segmentation model proposed in [15]. The WBD model treats word segmentation simply and efficiently as a binary decision on whether to realize the natural textual break between two adjacent characters as a word boundary. The WBD model allows simple and quick training data preparation converting characters as contextual vectors for learning the word boundary decision. Machine learning experiments with four different classifiers show that training with 1,000 vectors and 1 million vectors achieve comparable and reliable results. In addition, when applied to SigHAN Bakeoff 3 competition data, the WBD model produces OOV recall rates that are higher than all published results. Unlike all previous work, our OOV recall rate is comparable to our own F-score. Both experiments support the claim that the WBD model is a realistic model for Chinese word segmentation as it can be easily adapted for new variants with the robust result. In conclusion, we will discuss linguistic ramifications as well as future implications for the WBD approach.

研究の動機と目的

• 少量の学習入力でテキストの変化に適応できる現実的で頑健な中国語分かち書きモデルの開発を目的とする。
• 高精度だが大量データを必要とする語彙駆動型モデルと、柔軟性はあるが精度が低いテキスト駆動型モデルの間のギャップを埋める。
• 広範な分野やジャンルにわたり、再トレーニングや語彙の更新をほとんど行わずに効果的な分かち書きを実現することを目的とする。
• 語彙外語（OOV）で高い性能を発揮しつつ、全体のFスコアを高い水準に維持することを目的とする。
• 文字境界における二値意思決定として分かち書きを扱うことの言語的および計算的意味を検討することを目的とする。

提案手法

• WBDモデルは、隣接する2文字の間に区切りがあるかどうかを予測する二値分類タスクとして中国語分かち書きを定式化する。
• 各文字ペアは文脈的ベクトルとして表現され、機械学習による境界意思決定の効率的学習を可能にする。
• 異なる学習データサイズでの性能評価を目的に、4種類の異なる分類器を用いる。
• 文字列を直接特徴ベクトルに変換することで、学習データの準備が簡素化され、境界意思決定の学習が可能になる。
• 大規模語彙に依存しないため、リソースが限られた環境での適応に適している。
• SigHAN Bakeoff 3ベンチマークを用いて評価され、OOV再現率と全体のFスコアに注目する。

実験結果

リサーチクエスチョン

• RQ1 テキスト駆動型分かち書きモデルは、少量の学習データで語彙駆動型手法と同等の高いFスコアを達成できるか？
• RQ2 WBDモデルは、既存の手法と比較して語彙外語（OOV）に対してどの程度の性能を発揮するか？
• RQ3 WBDモデルは、さまざまなテキストバージョン、分野、ジャンルにどの程度一般化できるか？
• RQ4 二値境界意思決定アプローチは、頑健な分かち書きに実用的で計算的にも有効か？
• RQ5 分かち書きを局所的な二値意思決定の系列として扱うことにどのような意味があるか？

主な発見

• WBDモデルは、1,000ベクトル程度の学習データで訓練されても、同等かつ信頼性の高い性能を発揮し、高いデータ効率性を示している。
• 100万ベクトルの学習データで、モデルは高いFスコアを維持し、スケーラビリティと頑健性を確認している。
• SigHAN Bakeoff 3データセットにおいて、WBDモデルは、過去に発表されたすべての結果を上回るOOV再現率を達成した。
• OOV再現率の性能は、モデル自身のFスコアと同等であり、語彙内語と語彙外語の両方でバランスの取れた性能を示している。
• 従来の語彙駆動型および先行テキスト駆動型アプローチに比べ、少量のデータで高い適応性と信頼性を発揮している。
• これらの結果は、WBDモデルが実用的な中国語分かち書き応用において現実的で頑健なソリューションであるという主張を裏付けている。