[论文解读] Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-stage Span Labeling

Duc-Vu Nguyen, Linh-Bao Vo+3 more|arXiv (Cornell University)|Dec 17, 2021

Natural Language Processing Techniques被引用 4

一句话总结

本文提出 SpanSegTag，一种用于联合中文分词与词性标注的两阶段跨度标注模型，通过在字符边界表征上使用双仿射操作来建模 n-gram 及其词性标注。基于 BERT 的模型在 CTB7 和 CTB9 上达到最先进性能，显著优于先前方法如 TwASP，同时模型参数量更小，且无需依赖外部工具包。

ABSTRACT

Chinese word segmentation and part-of-speech tagging are necessary tasks in terms of computational linguistics and application of natural language processing. Many re-searchers still debate the demand for Chinese word segmentation and part-of-speech tagging in the deep learning era. Nevertheless, resolving ambiguities and detecting unknown words are challenging problems in this field. Previous studies on joint Chinese word segmentation and part-of-speech tagging mainly follow the character-based tagging model focusing on modeling n-gram features. Unlike previous works, we propose a neural model named SpanSegTag for joint Chinese word segmentation and part-of-speech tagging following the span labeling in which the probability of each n-gram being the word and the part-of-speech tag is the main problem. We use the biaffine operation over the left and right boundary representations of consecutive characters to model the n-grams. Our experiments show that our BERT-based model SpanSegTag achieved competitive performances on the CTB5, CTB6, and UD, or significant improvements on CTB7 and CTB9 benchmark datasets compared with the current state-of-the-art method using BERT or ZEN encoders.

研究动机与目标

• 解决中文分词与词性标注中的歧义消解和未知词检测挑战。
• 克服基于字符的标注模型在处理重叠歧义字符串方面的局限性。
• 开发一种显式建模 n-gram 跨度及其词性标注的联合模型，且不依赖现成的语法工具包。
• 在大规模基准数据集 CTB7 和 CTB9 上提升性能，同时降低模型复杂度。
• 探索跨度标注作为传统基于字符的标注在序列标注任务中的替代方案。

提出的方法

• 该模型采用两阶段跨度标注框架：首先预测词跨度，然后为这些跨度分配词性标注。
• 使用 BERT 或 BiLSTM 编码器生成输入字符的上下文表征。
• 通过双仿射操作将连续字符的左边界和右边界表征相结合，以预测词和词性标注的跨度可能性。
• 通过后处理启发式方法解决重叠跨度，确保词边界不重叠。
• 通过统一的损失函数对跨度预测进行联合优化，实现分词与词性标注的端到端训练。
• 该架构避免使用记忆网络和外部语言学特征，完全依赖学习得到的跨度表征。

实验结果

研究问题

• RQ1 跨度标注方法是否能在联合中文分词与词性标注任务中超越基于字符的标注方法？
• RQ2 与传统标注范式相比，通过双仿射操作建模 n-gram 跨度在歧义消解方面有何改进？
• RQ3 基于 BERT 的模型在不使用现成工具包的情况下，能在多大程度上实现最先进性能？
• RQ4 与 TwASP 等现有最先进方法相比，该模型的参数量和推理速度如何？
• RQ5 基于跨度的方法是否能更好地捕捉词汇内歧义消解与 OOV 词检测？

主要发现

• 基于 BERT 的 SpanSegTag 在 CTB7（F1: 80.19）和 CTB9（F1: 78.52）上取得显著提升，优于先前最先进方法 TwASP（使用 BERT 或 ZEN）。
• 在 CTB5、CTB6 和 UD 数据集上，SpanSegTag 取得具有竞争力的 F1 分数，其中 CTB7 为 95.33，CTB9 为 95.80。
• 该模型对词汇内词语及其词性标注的召回率较高（R_POS-iV），表明其具备强大的歧义消解能力。
• 与 TwASP（433–1170 MB）相比，SpanSegTag 模型参数量更小（433–441 MB），显示出对数据集规模更低的参数依赖性。
• 推理速度略慢于 TwASP（264 vs. 239 句子/秒），但避免了耗时的外部工具包调用。
• 在 CTB6、CTB7 和 CTB9 上，该模型在 CAS（组合歧义字符串）检测方面表现略优，表明其具备更强的句法与语义理解能力。