[论文解读] Design Challenges and Misconceptions in Neural Sequence Labeling

Jie Yang, Shuailong Liang+1 more|arXiv (Cornell University)|Jun 12, 2018

Neural Networks and Applications被引用 88

一句话总结

作者在统一框架内复现并系统比较了十二种神经序列标注模型，在命名实体识别（NER）、分块（chunking）和词性标注（POS）任务中，揭示设计挑战并为从业者提供实际指导。

ABSTRACT

We investigate the design challenges of constructing effective and efficient neural sequence labeling systems, by reproducing twelve neural sequence labeling models, which include most of the state-of-the-art structures, and conduct a systematic model comparison on three benchmarks (i.e. NER, Chunking, and POS tagging). Misconceptions and inconsistent conclusions in existing literature are examined and clarified under statistical experiments. In the comparison and analysis process, we reach several practical conclusions which can be useful to practitioners.

研究动机与目标

• 在统一设置下评估神经序列标注模型的可复现性与公平比较。
• 识别架构选择（字符表示、单词表示、推断层）对性能的影响。
• 澄清报道结果中的误解，并为从业者提供实用指南。

提出的方法

• 在统一的基于 PyTorch 的框架（NCRF++）中复现实十二种神经序列标注架构。
• 探讨三个设计维度：字符序列表示（CNN 与 LSTM）、词序列表示（CNN 与 LSTM）以及推断层（softmax vs CRF）。
• 在三个基准数据集上进行评估：CoNLL 2003 NER、CoNLL 2000 chunking 和 PTB POS tagging，采用受控超参数与数据划分。
• 进行统计分析（均值、标准差、跨多个随机种子取最大值）和消融研究以评估鲁棒性。
• 分析外部因素，如预训练嵌入、标注方案、硬件环境和优化器。

实验结果

研究问题

• RQ1 字符级表示（CNN 与 LSTM）如何影响序列标注的性能和速度？
• RQ2 词级表示（CNN 与 LSTM）在不同任务中的效果与解码时间比较如何？
• RQ3 CRF 推断层是否在 NER、分块和 POS 上始终优于 softmax？
• RQ4 预训练嵌入、标注方案（BIO vs BIOES）和硬件对模型性能的影响如何？
• RQ5 可以为神经序列标注模型的公平比较与部署推导哪些实用指南？

主要发现

• 字符信息在各任务中带来显著的准确性提升，字符 LSTM 与字符 CNN 都有改进，二者之间的差异取决于任务。
• 基于词的 LSTM 编码器在大多数设置中通常优于 CNN 编码器，表明全局词上下文对序列标注的重要性。
• CRF 推断在 NER 和分块上提升性能，但在 POS 标注上未带来明显优势。
• 结合 CRF 的词级编码器并配以适当的字符表示可获得有竞争力的结果，某些配置中基于 CNN 的词编码器提供了速度优势。
• 在 NER 任务上，BIOES 标注优于 BIO 标注，其他任务的差异可能不那么明显；预训练的 GloVe 嵌入和 SGD 优化器带来显著提升。
• 解码速度受 CRF 的影响（较慢）以及字符级组件的影响（对于基于 LSTM 的字符模型较慢），而基于 CNN 的词编码器提供更快的解码。