[论文解读] An Enhanced Span-based Decomposition Method for Few-Shot Sequence Labeling

Peiyi Wang, Runxin Xu+5 more|arXiv (Cornell University)|Sep 27, 2021

Natural Language Processing Techniques被引用 7

一句话总结

该论文提出 Esd，一种用于少样本序列标注的增强型跨度基础分解方法，将任务建模为查询与支持样本之间的跨度级匹配问题。通过增强跨度表征、利用 O 类型子类型聚合类别原型，以及通过 Beam Soft-NMS 解决跨度冲突，Esd 在 FewNERD 和 SNIPS 基准测试中达到最先进性能，尤其在嵌套和噪声场景下表现优于先前方法。

ABSTRACT

Few-Shot Sequence Labeling (FSSL) is a canonical paradigm for the tagging models, e.g., named entity recognition and slot filling, to generalize on an emerging, resource-scarce domain. Recently, the metric-based meta-learning framework has been recognized as a promising approach for FSSL. However, most prior works assign a label to each token based on the token-level similarities, which ignores the integrality of named entities or slots. To this end, in this paper, we propose ESD, an Enhanced Span-based Decomposition method for FSSL. ESD formulates FSSL as a span-level matching problem between test query and supporting instances. Specifically, ESD decomposes the span matching problem into a series of span-level procedures, mainly including enhanced span representation, class prototype aggregation and span conflicts resolution. Extensive experiments show that ESD achieves the new state-of-the-art results on two popular FSSL benchmarks, FewNERD and SNIPS, and is proven to be more robust in the nested and noisy tagging scenarios. Our code is available at https://github.com/Wangpeiyi9979/ESD.

研究动机与目标

• 为解决少样本序列标注中基于标记的相似性方法存在的局限性，这些方法忽略实体完整性，且在数据稀缺条件下难以学习 CRF 转移规律。
• 通过将序列标注建模为跨度级匹配问题而非标记级预测，提升在低资源、新兴领域中的泛化能力。
• 通过跨度内与跨度间交互增强跨度表征，并基于其与实体的相对位置关系，更好地区分各类杂项跨度（O 类型）。
• 通过一种新颖的 Beam Soft-NMS 后处理机制解决冲突的跨度预测，实现在无需微调的情况下稳健处理嵌套与重叠实体。
• 在 FewNERD 与 SNIPS 基准测试中实现最先进性能，尤其在具有挑战性的嵌套与噪声标注场景中表现优异。

提出的方法

• Esd 将少样本序列标注建模为查询与支持样本之间的跨度级匹配任务，实现从标记级到跨度级相似性建模的转变。
• 引入跨度增强模块，利用跨度内注意力以及查询与支持句子之间的跨度间交互，提升跨度表征质量。
• 设计跨度原型模块，将 O 类型跨度划分为三种子类型（实体前、实体内、实体后），并通过动态聚合生成类别原型，提升对非实体跨度的判别能力。
• 采用带 Soft-NMS 的束搜索（Beam Soft-NMS）机制，解决重叠或冲突的跨度预测，有效处理嵌套实体。
• 框架按顺序集成各组件：跨度表征 → 原型聚合 → 冲突解决，实现鲁棒且精确的跨度级预测。

实验结果

研究问题

• RQ1 将序列标注建模为跨度级匹配问题，是否能相比基于标记相似性的方法提升少样本泛化能力？
• RQ2 如何基于其与已识别实体的相对位置关系，更好地区分代表非实体跨度的 O 类型跨度？
• RQ3 在不微调的前提下，带 Soft-NMS 的束搜索能否有效解决少样本序列标注中的冲突跨度预测？
• RQ4 所提出的跨度级框架是否在嵌套与噪声标注场景中优于现有基于标记的基线方法？
• RQ5 在基于跨度的少样本序列标注模型中，性能与推理效率之间存在何种权衡？

主要发现

• 在 FewNERD-INTER（5 类 1–2-shot）上，Esd 达到 59.29 的新最先进 F1 分数，显著优于 ProtoBERT（38.83）及其他基线方法。
• 在 r_nested=1 的嵌套场景中，采用 Beam Soft-NMS 的 Esd 达到 31.25 的 F1 分数，优于 Soft-NMS（31.09）与仅使用束搜索（28.94），证明了冲突解决机制的有效性。
• Esd 将误报跨度错误（FP-Span）占比降至总错误的 72.8%，而 ProtoBERT 为 86.7%，表明其在跨度边界定位方面表现更优。
• 尽管推理时间相比 ProtoBERT 增加了 2.7 倍，Esd 在 1-shot 情况下仍实现 31.53 的 F1 分数提升，在 5-shot 情况下提升 16.68，展现出有利的性能-效率权衡。
• 该模型在噪声与嵌套设置下更具鲁棒性，错误分析显示其跨度边界错误比例更低，表明对实体结构具有更优的感知能力。