[论文解读] Fixing the Infix: Unsupervised Discovery of Root-and-Pattern Morphology

Tarek Sakakini, Suma Bhat+1 more|arXiv (Cornell University)|Feb 7, 2017

Natural Language Processing Techniques参考文献 9被引用 3

一句话总结

本文提出一种无监督、语言无关的方法，利用分布式词表示来引导形态规则学习，以发现闪米特语中的根词与词形结构。通过结合正字法模式与词嵌入中的语义相似性，该方法在性能上可与最先进的基于规则的系统（如ISRI）相媲美，当排除非连结性规则时，准确率相对下降11.5%，表明根词与词形结构在准确提取根词中起着关键作用。

ABSTRACT

We present an unsupervised and language-agnostic method for learning root-and-pattern morphology in Semitic languages. This form of morphology, abundant in Semitic languages, has not been handled in prior unsupervised approaches. We harness the syntactico-semantic information in distributed word representations to solve the long standing problem of root-and-pattern discovery in Semitic languages. Moreover, we construct an unsupervised root extractor based on the learned rules. We prove the validity of learned rules across Arabic, Hebrew, and Amharic, alongside showing that our root extractor compares favorably with a widely used, carefully engineered root extractor: ISRI.

研究动机与目标

• 解决闪米特语中缺乏无监督、语言无关的根词与词形结构发现方法的问题。
• 克服现有基于规则和有监督系统所受限制，这些系统需要专家语言知识或标注数据。
• 将分布式词表示中的句法与语义信息整合到形态规则学习中，以提升泛化能力。
• 开发一种无监督根词提取器（JZR），其性能可与精心设计的语言特异性系统（如ISRI）相媲美。
• 通过阿拉伯语、希伯来语和阿姆哈拉语的母语者评估，验证所发现的形态规则。

提出的方法

• 该方法使用两种正字法模型：一种用于连结性形态（通过词缀的插入/删除实现），另一种用于根词与词形结构（通过辅音根和元音模式模板实现）。
• 基于词嵌入构建语义模型，以验证形态关系，使用词对差异向量之间的余弦相似度来评估语义合理性。
• 通过正字法支持、语义相似度以及支持集（SSr）中词对的一致性组合评分规则，支持可调阈值进行过滤。
• 根词提取器JZR将根词提取建模为迭代优化问题，选择使语义得分最大化且满足正字法和语义阈值的最佳形态规则（r*）。
• 系统在R_add（添加词缀或模式的规则）与R_rep（替换词缀的规则）之间交替，以确保收敛并处理非连结性过程。
• 通过迭代应用最匹配的规则减少词长，直至达到三辅音根词，若未找到有效缩减则回退至替换规则。

实验结果

研究问题

• RQ1 无监督学习结合分布式词表示是否能有效在无语言先验条件下发现闪米特语中的根词与词形结构？
• RQ2 与纯正字法方法相比，将词嵌入中的语义信息整合到形态规则发现中，能否显著提升规则发现的准确性？
• RQ3 与仅依赖连结性形态相比，根词与词形结构规则在无监督根词提取器性能中所起的作用有多大？
• RQ4 所提出的方法是否能在阿拉伯语根词提取任务中达到与ISRI等基于规则的语言特异性系统相当的性能？
• RQ5 所发现的形态结构是否具有跨闪米特语的泛化能力，包括低资源语言如阿姆哈拉语？

主要发现

• 母语者评估确认，在阿拉伯语、希伯来语和阿姆哈拉语中发现的前30条根词与词形结构规则全部正确，验证了该方法的语言无关性与准确性。
• 在1200个阿拉伯语词的样本中，JZR的根词提取准确率达到51.88%，优于排除根词与词形结构规则的基线JZR（有限）模型（45.63%）。
• 当排除非连结性规则时，性能出现11.5%的相对下降，表明根词与词形结构是整体准确率的重要贡献因素。
• JZR的性能与ISRI（一种广泛应用、精心设计的语言特异性根词提取器）相当，后者在同一测试集上达到61.63%的准确率。
• 该方法在语言间表现出鲁棒性，包括低资源语言阿姆哈拉语（词汇量限制为10,000词），显示出在低资源环境下的可扩展性。
• 研究表明，11.5%的性能下降可能低估了根词与词形结构规则的真实影响，因为ISRI系统本身也严重依赖此类模式，表明JZR有效捕捉了核心语言学成分。