[论文解读] Simple Models for Word Formation in English Slang

Vivek Kulkarni, William Yang Wang|arXiv (Cornell University)|Apr 7, 2018

Natural Language Processing Techniques参考文献 21被引用 5

一句话总结

本文提出针对英语俚语中三种关键词形变化现象——混成词、截短词和重叠词——的简单、数据驱动的生成模型，结合语言学约束与序列建模方法。这些模型在性能上达到当前最先进水平，尤其在重叠词生成方面表现突出，在标准测试集上的平均倒数排名（MIR）较基线模型至少提升8个百分点。

ABSTRACT

We propose generative models for three types of extra-grammatical word formation phenomena abounding in English slang: Blends, Clippings, and Reduplicatives. Adopting a data-driven approach coupled with linguistic knowledge, we propose simple models with state of the art performance on human annotated gold standard datasets. Overall, our models reveal insights into the generative processes of word formation in slang -- insights which are increasingly relevant in the context of the rising prevalence of slang and non-standard varieties on the Internet.

研究动机与目标

• 开发针对三种主要俚语词形变化过程（混成词、截短词与重叠词）的简单、可解释的生成模型。
• 将语言学约束（如语音相似性与结构模式）整合进数据驱动模型，以提升准确率与可解释性。
• 在人工标注的标准化测试集上实现当前最先进性能，用于英语俚语词形变化任务。
• 发布模型与数据集，以支持俚语及非标准语言处理领域的进一步研究。
• 揭示互联网上非正式且不断演变的语言形式背后的生成机制。

提出的方法

• 将混成词建模为序列标注问题，采用轻量级LSTM，避免使用复杂的编码器-解码器架构。
• 为截短词与重叠词开发概率生成模型，整合语音约束与结构规则。
• 使用条件概率模型捕捉特定截短类型（前向、后向、复合）与重叠模式（如元音/辅音交替）的可能性。
• 采用平均倒数排名（MIR）指标评估重叠词生成的模型性能，并与基线模型进行比较。
• 借鉴Mattiello（2013）的语言学见解，定义模型设计中的结构与语音约束。
• 在经人工标注类型并精心整理的俚语词汇数据集上进行模型训练与评估，确保可复现性与基准测试。

实验结果

研究问题

• RQ1 如何通过简单、可解释的模型有效生成英语俚语中的混成词、截短词与重叠词？
• RQ2 语音相似性与结构模式等语言学约束在多大程度上能提升生成模型的性能？
• RQ3 序列标注方法是否能在混成词生成中超越复杂的序列到序列模型？
• RQ4 截短词与重叠词的生成模型在捕捉真实俚语模式方面，与基线模型相比表现如何？
• RQ5 从重叠词模型推断出的概率分布中，揭示了哪些语言学模式？

主要发现

• 所提出的重叠词生成模型在平均倒数排名（MIR）上达到0.86，优于最佳基线模型（Let）至少8个百分点。
• 模型推断出最常见的重叠词类型为Duplicate、VowelEx与ConEx，且字母'i'常被替换为'a'或'o'。
• 辅音't'被发现显著更可能被替换为'w'或'l'，如'teenie-weenie'中的形式所示。
• 混成词生成模型通过简单的序列标注方法结合LSTM，取得了具有竞争力的性能，无需依赖复杂的编码器-解码器框架。
• 截短词模型与理想上限（oracle upper bound）之间仍存在性能差距，表明若引入更深层的语言线索（如重音模式），仍有改进空间。
• 所提模型结构简单、可解释性强，泛化能力良好，代码与数据集已公开发布，支持可复现性。