[论文解读] Cross-Language Information Retrieval for Technical Documents

Atsushi Fujii, Tetsuya Ishikawa|ArXiv.org|Jul 6, 1999

Natural Language Processing Techniques参考文献 13被引用 14

一句话总结

本文提出了一种用于技术文献的日语/英语跨语言信息检索（CLIR）系统，通过复合词翻译和音译技术改进查询翻译。通过将基础词的概率翻译与片假名音译词的表层映射相结合，该系统实现了与单语检索相当的CLIR性能，其F1得分相对于日语-日语IR达到1.04倍。

ABSTRACT

This paper proposes a Japanese/English cross-language information retrieval (CLIR) system targeting technical documents. Our system first translates a given query containing technical terms into the target language, and then retrieves documents relevant to the translated query. The translation of technical terms is still problematic in that technical terms are often compound words, and thus new terms can be progressively created simply by combining existing base words. In addition, Japanese often represents loanwords based on its phonogram. Consequently, existing dictionaries find it difficult to achieve sufficient coverage. To counter the first problem, we use a compound word translation method, which uses a bilingual dictionary for base words and collocational statistics to resolve translation ambiguity. For the second problem, we propose a transliteration method, which identifies phonetic equivalents in the target language. We also show the effectiveness of our system using a test collection for CLIR.

研究动机与目标

• 解决在跨语言信息检索（CLIR）中翻译技术术语的挑战，特别是针对日语和英语。
• 克服现有双语词典无法覆盖日语中复合技术术语和外来词的局限性。
• 开发一个稳健的CLIR框架，整合复合词翻译与音译技术，以提升检索准确性。
• 使用NACSIS测试集进行评估，重点关注组件级性能与整体系统性能。
• 证明将复合词翻译与音译相结合可显著提升CLIR的有效性，优于基线方法。

提出的方法

• 使用双语词典和搭配统计信息，以解决复合术语中翻译歧义的问题。
• 采用概率方法，基于目标语言中的共现频率，选择最可能的复合词翻译。
• 实施一种基于语音相似性的表层音译技术，将英文字符映射至日语片假名，避免使用复杂的音素体系。
• 将翻译模块与单语IR引擎集成，以查询翻译作为主要检索策略。
• 利用NACSIS测试集进行评估，该测试集包含日语查询和来自技术论文的双语摘要。
• 使用标准TREC评估指标，包括查准率-查全率曲线和11点平均查准率，以比较系统性能。

实验结果

研究问题

• RQ1 与基线词典查找方法相比，概率复合词翻译方法是否能提升技术文献的CLIR性能？
• RQ2 在日语-英语CLIR中，片假名外来词的音译在多大程度上提升了检索有效性？
• RQ3 复合词翻译与音译的结合如何影响整体CLIR系统性能？
• RQ4 所提出的CLIR系统在检索有效性方面与单语日语-日语IR相比如何？
• RQ5 在使用音译生成的查询变体时，系统对文档中的拼写错误是否具有鲁棒性？

主要发现

• 复合词翻译方法（CWT）实现了单语日语-日语系统平均查准率的94.6%，显著优于基线方法。
• 音译将检索性能提升至单语基线的94.6%，与仅使用CWT方法的性能相当。
• 当两者结合时，CWT与音译使F1得分达到单语系统的1.04倍，表明实现了接近单语性能的表现。
• 系统对拼写错误表现出鲁棒性，因为音译生成了多个合理的变体（例如，'reduction' → 'riduction', 'redaction'），可匹配文档中的术语。
• 控制组（即丢弃所有未列在词典中的片假名词）仅达到单语系统平均查准率的56.4%，凸显了音译的重要性。
• 结果证实，复合词翻译与音译在技术文献CLIR中均为有效且互补的组成部分。