[论文解读] Splitting Compounds by Semantic Analogy

Joachim Daiber, Lautaro Quiroz+2 more|arXiv (Cornell University)|Sep 15, 2015

Natural Language Processing Techniques参考文献 16被引用 7

一句话总结

本文提出了一种基于分布语义和词嵌入的无监督类比方法，用于分割德语复合词。通过将复合结构建模为语义类比关系（例如，'Hauptziel 是 Ziel 的关系，正如 Hauptader 是 Ader 的关系'），该方法能够识别复合词的组成部分与原型，显著优于基于频率的基线方法，在标准测试集和机器翻译任务中表现更佳，尤其在处理歧义复合词时优势明显。

ABSTRACT

Compounding is a highly productive word-formation process in some languages that is often problematic for natural language processing applications. In this paper, we investigate whether distributional semantics in the form of word embeddings can enable a deeper, i.e., more knowledge-rich, processing of compounds than the standard string-based methods. We present an unsupervised approach that exploits regularities in the semantic vector space (based on analogies such as "bookshop is to shop as bookshelf is to shelf") to produce compound analyses of high quality. A subsequent compound splitting algorithm based on these analyses is highly effective, particularly for ambiguous compounds. German to English machine translation experiments show that this semantic analogy-based compound splitter leads to better translations than a commonly used frequency-based method.

研究动机与目标

• 探究分布语义和向量空间规律是否能够超越表层字符串模式，建模德语复合词的构成规律。
• 通过利用语义类比实现更深层次、知识丰富的复合词分析，以缓解德语复合词数据稀疏问题。
• 开发一种无监督的复合词切分算法，以提升在歧义复合词和翻译任务中的性能。
• 在真实世界的机器翻译设置中评估该方法，与标准的基于频率的切分方法进行比较。

提出的方法

• 在词嵌入空间中使用语义类比关系（例如，v(Hauptziel) - v(Ziel) ≈ v(Hauptader) - v(Ader)）来建模复合词结构为向量变换。
• 通过提取已知复合词对的方向向量，识别复合词原型，代表复合词的语义核心。
• 应用一种贪心的复合词切分算法，检测候选切分（如 Haupt|mann）是否匹配原型变换模式。
• 利用预训练的词嵌入检测复合词组成部分与其核心词之间的类比关系。
• 将切分器集成到基于短语的SMT系统Moses中，测试其在OOV词、稀有词及所有词上的表现。
• 采用自助抽样法对BLEU和METEOR得分进行显著性检验。

实验结果

研究问题

• RQ1 词嵌入空间中的语义类比能否建模德语复合词的结构组成？
• RQ2 能否利用已知复合词推导出的原型向量变换，来推断新复合词的组成部分？
• RQ3 类比方法切分是否在复合词消歧和下游自然语言处理任务中优于基于频率的方法？
• RQ4 类比方法切分在多大程度上提升了机器翻译性能，特别是在稀有或歧义复合词上的表现？

主要发现

• 与Moses基于频率的切分器相比，类比方法在稀有词（c(w) < 20）上的BLEU得分提升至18.2（基线17.9），METEOR得分提升至26.1（基线25.8），且差异具有统计显著性。
• 在完整测试集上，类比方法的BLEU得分为17.7，METEOR得分为26.3，优于基线方法，且表现持续提升。
• 该方法在歧义复合词上尤为有效，因为基于频率的方法因存在多个合理切分而失效。
• 仅在稀有词上应用时，类比方法相比表现最佳的基于频率的基线方法，其性能提升具有统计显著性（p < 0.05）。
• 该方法在测试集中切分了1616个复合词，表明其在真实翻译场景中具备高覆盖率和有效性。
• 结果表明，若能更优地选择需切分的词语（如聚焦于稀有或歧义复合词），性能还可进一步提升。