[论文解读] False-Friend Detection and Entity Matching via Unsupervised Transliteration

Yanqing Chen, Steven Skiena|arXiv (Cornell University)|Nov 21, 2016

Topic Modeling参考文献 27被引用 15

一句话总结

该论文提出了一种无监督音译模型，利用维基百科衍生数据和基于子串的代价矩阵，在69种语言中实现了高精度音译，top-1准确率达到32.85%，显著优于先前系统。该模型进一步结合词嵌入技术检测真朋友词对，表明在68种语言中，词汇相似的词对更可能是真正的借词。

ABSTRACT

Transliterations play an important role in multilingual entity reference resolution, because proper names increasingly travel between languages in news and social media. Previous work associated with machine translation targets transliteration only single between language pairs, focuses on specific classes of entities (such as cities and celebrities) and relies on manual curation, which limits the expression power of transliteration in multilingual environment. By contrast, we present an unsupervised transliteration model covering 69 major languages that can generate good transliterations for arbitrary strings between any language pair. Our model yields top-(1, 20, 100) averages of (32.85%, 60.44%, 83.20%) in matching gold standard transliteration compared to results from a recently-published system of (26.71%, 50.27%, 72.79%). We also show the quality of our model in detecting true and false friends from Wikipedia high frequency lexicons. Our method indicates a strong signal of pronunciation similarity and boosts the probability of finding true friends in 68 out of 69 languages.

研究动机与目标

• 开发一种可扩展的无监督音译模型，支持69种主要语言之间的任意语言对音译。
• 通过无监督方法区分真实音译与翻译，清洗基于维基百科的音译训练数据中的噪声。
• 通过子串匹配与贝叶斯代价矩阵建模语音相似性，提升音译准确率。
• 结合词汇相似性与分布式词嵌入的语义相似性，实现多语言环境下真朋友词对的检测。
• 证明词汇接近度与语义相似性之间存在强相关性，从而提升真实借词的检测能力。

提出的方法

• 从维基百科中个人名与地名之间的跨语言链接构建了包含576,403对音译的训练数据集。
• 应用期望最大化算法，基于贝叶斯概率模型学习字符与子串级别的代价矩阵，实现音素层级的识别。
• 采用子串匹配而非单字符转换来建模跨语言的语音与拼写模式。
• 利用预训练词嵌入执行语义相似性测试，基于语义差异过滤掉假朋友词对。
• 通过标准基准数据集与内在指标（包括编辑距离与高频词典中的排名）评估音译质量。
• 通过编辑距离≤2与嵌入距离阈值进行跨语言扫描，识别潜在借词并验证结果。

实验结果

研究问题

• RQ1 无监督模型是否能在无需人工校对或语言特异性调优的前提下，实现对69种语言的高精度音译？
• RQ2 基于子串的音译代价矩阵建模是否优于单字符转换模型，更能捕捉语音相似性？
• RQ3 词嵌入是否能有效区分多语言环境下的真实借词与假朋友？
• RQ4 在音译词对中，词汇相似性（编辑距离）与语义相似性（嵌入距离）之间是否存在强相关性？
• RQ5 结合词汇与语义信号在多大程度上提升了跨语言真朋友词对的检测能力？

主要发现

• 所提模型在top-1、top-20与top-100的准确率分别达到32.85%、60.44%与83.20%，在四种共享语言上显著优于先前系统的26.71%、50.27%与72.79%。
• 对于姓名'obama'，在100,000个最常见维基百科词中存在该词的23种语言中，模型生成的最佳音译在20种语言中与标准答案一致。
• 在25种语言中的22种，模型生成的最佳音译与标准答案的差异不超过一个字符替换。
• 在68种语言中，编辑距离≤2的词汇距离最近的词对组合，其为真朋友词对的概率高于距离更远的词对。
• 在应用词嵌入相似性测试后，68种语言中超过50%的最近词汇对被确认为真朋友，仅有越南语、拉丁语与马耳他语三个异常值。
• 在33种语言中，同时通过谷歌翻译与嵌入测试的词对比例（B / (B+TP)）超过0.5，表明嵌入质量高且检测结果可靠。