[论文解读] Effective Subword Segmentation for Text Comprehension

Zhuosheng Zhang, Hai Zhao+5 more|arXiv (Cornell University)|Nov 6, 2018

Topic Modeling参考文献 62被引用 3

一句话总结

本文提出了一种统一的子词增强嵌入框架，通过无监督分段学习有意义的子词单元，显著提升了阅读理解与文本蕴涵任务的性能——尤其在罕见词或未登录词（OOV）上表现突出，通过拼接或乘法组合子词与词嵌入，优于简单的加法组合及字符级基线模型。

ABSTRACT

Representation learning is the foundation of machine reading comprehension and inference. In state-of-the-art models, character-level representations have been broadly adopted to alleviate the problem of effectively representing rare or complex words. However, character itself is not a natural minimal linguistic unit for representation or word embedding composing due to ignoring the linguistic coherence of consecutive characters inside word. This paper presents a general subword-augmented embedding framework for learning and composing computationally-derived subword-level representations. We survey a series of unsupervised segmentation methods for subword acquisition and different subword-augmented strategies for text understanding, showing that subword-augmented embedding significantly improves our baselines in various types of text understanding tasks on both English and Chinese benchmarks.

研究动机与目标

• 解决词级别与字符级别表示在处理自然语言处理任务中罕见词或未登录词（OOV）时的局限性。
• 探索子词单元作为介于字符与完整词之间的更符合语言学逻辑且信息量更丰富的词表示替代方案。
• 开发一种统一的、无监督的子词分段框架，不依赖预定义的语言学知识或标注语料。
• 在英语与中文的多种自然语言处理任务中，包括机器阅读理解与文本蕴涵任务，评估子词增强嵌入的有效性。
• 研究子词与词嵌入在下游任务中最佳的融合策略。

提出的方法

• 该方法采用无监督子词分段技术，如字节对编码（BPE）与基于频率的n-gram提取（BPE-FRQ），从原始文本中生成子词单元。
• 通过神经网络学习子词表示，并使用拼接、乘法或加法方式与词嵌入结合。
• 该框架设计为通用且任务无关，适用于多种自然语言处理任务，无需进行任务特定或语言特定的修改。
• 模型利用注意力机制聚焦于相关子词与词特征，可视化结果表明其在输入中更有效地关注与答案相关的信息。
• 该方法避免依赖词形规则或外部语言学资源，适用于低资源语言。
• 在五个基准测试上进行评估，包括CMRC-2017与SNLI，并对融合策略与n-gram窗口大小进行了消融研究。

实验结果

研究问题

• RQ1 与词级别或字符级别基线相比，子词增强嵌入是否能显著提升阅读理解与文本蕴涵任务的性能？
• RQ2 在子词与词嵌入的融合策略中，拼接、乘法或加法哪种能为下游自然语言处理任务带来最佳性能？
• RQ3 子词分段中n-gram窗口大小的选择如何影响模型性能？
• RQ4 子词表示在填空式阅读理解任务中，能在多大程度上改善对未登录词（OOV）的处理？
• RQ5 在无语言学资源的情况下，无监督子词分段是否仍能为低资源语言或词形复杂的语言生成有意义且有效的表示？

主要发现

• 采用BPE-FRQ分段的子词增强嵌入模型，将CMRC-2017测试集上的OOV问题准确率从基线模型的2.54%（词+字符）提升至12.71%。
• 词嵌入与子词嵌入的拼接与乘法组合优于简单的加法融合，其中乘法在建模特征交互与分布差异方面表现尤为突出。
• BPE-FRQ的最优n-gram窗口大小为2或3，更长的窗口（最多至4）仅带来微小或无显著提升。
• 可视化结果表明，采用子词增强嵌入的模型能更有效地关注与答案相关的关键子词单元，如'play'与'ground'在'playgrounds'中的作用。
• 该方法在英语与中文的五个多样化基准测试中均实现了稳定的性能提升，验证了其泛化能力与多语言有效性。
• 该框架显著增强了对罕见词与词形复杂词（如'indispensability'与'intercontinental exchange'）的表征学习能力，通过将其分解为有意义的子词单元。