[論文レビュー] Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-stage Span Labeling

Duc-Vu Nguyen, Linh-Bao Vo+3 more|arXiv (Cornell University)|Dec 17, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、文字境界表現の双線形演算を用いてn-gramおよびその品詞素性をモデル化する、2段階のスパンラベルリングモデルであるSpanSegTagを提案する。このBERTベースのモデルは、CTB7およびCTB9で最先端の性能を達成しており、TwASPなどの先行手法よりも顕著な向上を示すが、外部ツールキットに依存せず、モデルサイズも小型に保っている。

ABSTRACT

Chinese word segmentation and part-of-speech tagging are necessary tasks in terms of computational linguistics and application of natural language processing. Many re-searchers still debate the demand for Chinese word segmentation and part-of-speech tagging in the deep learning era. Nevertheless, resolving ambiguities and detecting unknown words are challenging problems in this field. Previous studies on joint Chinese word segmentation and part-of-speech tagging mainly follow the character-based tagging model focusing on modeling n-gram features. Unlike previous works, we propose a neural model named SpanSegTag for joint Chinese word segmentation and part-of-speech tagging following the span labeling in which the probability of each n-gram being the word and the part-of-speech tag is the main problem. We use the biaffine operation over the left and right boundary representations of consecutive characters to model the n-grams. Our experiments show that our BERT-based model SpanSegTag achieved competitive performances on the CTB5, CTB6, and UD, or significant improvements on CTB7 and CTB9 benchmark datasets compared with the current state-of-the-art method using BERT or ZEN encoders.

研究の動機と目的

• 中国語の分かち書きと品詞タグ付けにおける曖昧性解消と未知語検出の課題に対処すること。
• 重複する曖昧な文字列を処理する際の、文字ベースのタグ付けモデルの限界を克服すること。
• 市販の言語学的ツールキットに依存せずに、n-gramスパンとその品詞タグを明示的にモデル化する統合モデルの開発。
• CTB7やCTB9のような大規模ベンチマークで性能を向上させつつ、モデルの複雑さを低減すること。
• 従来の文字ベースタグ付けとは対照的に、スパンラベルリングを序列ラベル付けタスクにおける代替手法として検討すること。

提案手法

• モデルは2段階のスパンラベルリングフレームワークを採用：まず語のスパンを予測し、その後そのスパンに品詞タグを割り当てる。
• 入力文字の文脈的表現を生成するために、BERTまたはBiLSTMエンコーダーを用いる。
• 連続する文字の左および右境界表現を、双線形演算によって組み合わせ、語および品詞タグのスパン尤度を予測する。
• 重複するスパンを解消するための後処理ヒューリスティクスを適用し、重複しない語境界を保証する。
• スパン予測における統一損失関数を用いて、語の分かち書きと品詞タグ付けを同時に最適化する。
• メモリネットワークや外部の言語学的特徴に依存せず、学習されたスパン表現のみに依存するアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 スパンラベルリングアプローチは、従来の文字ベースタグ付けを上回る性能を示せるか？
• RQ2 双線形演算を用いてn-gramスパンをモデル化することで、従来のタグ付けパラダイムと比較して曖昧性解消がどの程度向上するか？
• RQ3 市販の言語学的ツールキットを一切使用しないBERTベースのモデルが、どの程度最先端の性能を達成できるか？
• RQ4 TwASPなどの既存の最先端手法と比較して、モデルサイズと推論速度はどのように異なるか？
• RQ5 スパンベースのアプローチは、語彙内曖昧性解消およびOOV語検出を、よりよく捉えられるか？

主な発見

• BERTベースのSpanSegTagは、CTB7（F1: 80.19）およびCTB9（F1: 78.52）で顕著な向上を示し、BERTまたはZENを用いた先行最先端手法TwASPを上回った。
• CTB5、CTB6、UDデータセットでも、競争力のあるF1スコアを達成しており、CTB7では95.33、CTB9では95.80のF1スコアを記録した。
• 語彙内語およびその品詞タグのリコールが高く（R_POS-iV）、曖昧性解消能力が優れていることが示された。
• SpanSegTagは、TwASP（433–1170 MB）と比較して小型なモデルサイズ（433–441 MB）を実現し、データセット規模に依存するパラメータの増加が抑制された。
• 推論速度はTwASP（239文/秒）よりわずかに遅い（264文/秒）が、時間のかかる外部ツールキットの呼び出しを回避している。
• CTB6、CTB7、CTB9において、CAS（組み合わせ的曖昧文字列）検出がわずかに優れており、構文的・意味的理解の向上が示唆された。