[论文解读] Japanese-Spanish Thesaurus Construction Using English as a Pivot

Jessica C. Ramírez, Masayuki Asahara+1 more|arXiv (Cornell University)|Mar 6, 2013

Natural Language Processing Techniques参考文献 7被引用 9

一句话总结

本文提出了一种利用英语作为枢纽语言，通过维基百科翻译对和WordNet进行词义消歧，自动构建日语-西班牙语-英语多语言同义词词典的方法。通过结合向量空间模型和维基百科的分类信息，该方法实现了高质量的对齐，生成了一个包含25,375个条目的同义词词典，从而提升了低资源语言对在机器翻译等自然语言处理任务中的表现。

ABSTRACT

We present the results of research with the goal of automatically creating a multilingual thesaurus based on the freely available resources of Wikipedia and WordNet. Our goal is to increase resources for natural language processing tasks such as machine translation targeting the Japanese-Spanish language pair. Given the scarcity of resources, we use existing English resources as a pivot for creating a trilingual Japanese-Spanish-English thesaurus. Our approach consists of extracting the translation tuples from Wikipedia, disambiguating them by mapping them to WordNet word senses. We present results comparing two methods of disambiguation, the first using VSM on Wikipedia article texts and WordNet definitions, and the second using categorical information extracted from Wikipedia, We find that mixing the two methods produces favorable results. Using the proposed method, we have constructed a multilingual Spanish-Japanese-English thesaurus consisting of 25,375 entries. The same method can be applied to any pair of languages that are linked to English in Wikipedia.

研究动机与目标

• 解决日语-西班牙语自然语言处理中多语言资源匮乏的问题。
• 开发一种利用免费可用资源自动构建三语同义词词典的自动化方法。
• 通过利用英语作为枢纽语言，提升日语与西班牙语之间的翻译质量和语义对齐。
• 评估并比较基于维基百科文本和分类元数据的消歧技术。
• 构建一个可复用的框架，适用于通过维基百科与英语相连的任意语言对。

提出的方法

• 从多语言维基百科页面中提取翻译对，以识别潜在的日语-西班牙语词对。
• 将每个词对映射到WordNet词义，利用词义消歧技术解决词汇歧义。
• 在维基百科文章文本和WordNet定义上应用向量空间模型（VSM），计算语义相似度以实现消歧。
• 引入分类信息（如维基百科分类链接）以提升消歧的准确性。
• 通过混合方法结合基于VSM的消歧结果与基于分类的消歧结果，以提升整体性能。
• 通过聚合经验证的、词义对齐的日语-西班牙语词对及其英文对应词，构建最终的同义词词典。

实验结果

研究问题

• RQ1 当缺乏直接资源时，英语能否有效用作构建日语-西班牙语同义词词典的枢纽语言？
• RQ2 基于VSM的消歧方法与基于分类的消歧方法在将日语和西班牙语词语对齐到英语WordNet词义方面表现如何比较？
• RQ3 结合VSM与分类信息是否能获得优于单独使用任一方法的消歧效果？
• RQ4 所生成的多语言同义词词典在规模和语义准确性方面具有怎样的可扩展性与质量？
• RQ5 所提出的方法能否推广至通过维基百科与英语相连的其他语言对？

主要发现

• 混合消歧方法——结合VSM与维基百科分类信息——在消歧性能上优于单独使用任一方法。
• 最终的同义词词典包含25,375个有效且词义对齐的条目，证明了大规模多语言同义词词典构建的可行性。
• 利用维基百科作为翻译对的来源，实现了大规模多语言词汇关系的自动提取。
• 基于WordNet的词义映射显著提升了跨语言词语对齐的精确度，有效解决了词汇歧义问题。
• 该方法在日语-西班牙语等低资源语言对中表现有效，这些语言对缺乏直接的多语言资源。
• 该框架具有可推广性，可应用于通过维基百科与英语相连的任意语言对。