[论文解读] Japanese/English Cross-Language Information Retrieval: Exploration of Query Translation and Transliteration

Atsushi Fujii, Tetsuya Ishikawa|ArXiv.org|Jun 9, 2002

Natural Language Processing Techniques参考文献 40被引用 12

一句话总结

本文提出了一种针对技术文献的日本语/英语双向跨语言信息检索（CLIR）系统，整合了复合词翻译、外来语片假名音译以及基于频率的消歧义缩略词展开方法。通过提升技术术语的翻译准确性，该系统在NACSIS测试集上的性能已接近单语IR水平。

ABSTRACT

Cross-language information retrieval (CLIR), where queries and documents are in different languages, has of late become one of the major topics within the information retrieval community. This paper proposes a Japanese/English CLIR system, where we combine a query translation and retrieval modules. We currently target the retrieval of technical documents, and therefore the performance of our system is highly dependent on the quality of the translation of technical terms. However, the technical term translation is still problematic in that technical terms are often compound words, and thus new terms are progressively created by combining existing base words. In addition, Japanese often represents loanwords based on its special phonogram. Consequently, existing dictionaries find it difficult to achieve sufficient coverage. To counter the first problem, we produce a Japanese/English dictionary for base words, and translate compound words on a word-by-word basis. We also use a probabilistic method to resolve translation ambiguity. For the second problem, we use a transliteration method, which corresponds words unlisted in the base word dictionary to their phonetic equivalents in the target language. We evaluate our system using a test collection for CLIR, and show that both the compound word translation and transliteration methods improve the system performance.

研究动机与目标

• 为解决在日语与英语之间通过跨语言信息检索（CLIR）检索技术文献的挑战。
• 提升标准双语词典未能完全覆盖的技术术语的查询翻译准确性。
• 开发并整合自动化的复合技术术语翻译方法、片假名外来语音译方法以及缩略技术术语展开方法。
• 使用标准化的NACSIS日语文档查询与多语言技术摘要测试集评估系统性能。
• 证明结合这些翻译技术可显著提升技术领域中的CLIR有效性。

提出的方法

• 提出一种基于目标语言中基础词组合概率的复合词翻译方法，利用文档集合中的频率统计选择翻译结果。
• 开发一种音译方法，通过字符级对应关系将日语片假名词汇映射为英语的音译等效形式。
• 通过从EDR技术术语词典中提取基础词翻译，生成复合术语的双语词典。
• 构建一个包含全称与缩略语的缩略词词典，其数据来自英文语料库。
• 利用词频统计解决翻译与音译中的歧义，实现自动消歧义。
• 将查询翻译模块与单语检索模型（TF、对数TF、SMART）集成，以在标准IR方法下评估性能。

实验结果

研究问题

• RQ1 基于基础词组合概率的复合词翻译是否能提升技术文献的CLIR性能？
• RQ2 日语片假名外来语的音译在日语/英语CLIR中在多大程度上提升了检索准确性？
• RQ3 包含展开的缩略词（如 'IR' → 'information retrieval'）对系统性能有何影响？
• RQ4 结合多种翻译技术——复合词翻译、音译与缩略词展开——是否能产生协同增益？
• RQ5 所提出的系统在多大程度上可实现与单语IR相当的性能，用于技术文档检索？

主要发现

• 复合词翻译方法在基线基础上提升了检索性能，尤其在与其他技术结合时效果更显著。
• 音译方法对性能提升有贡献，尤其在以片假名表示的技术术语中表现突出。
• 引入缩略词展开在特定情况下改善了结果，例如 'LFG' → 'lexical functional grammar' 时F1分数显著提高。
• 当同时使用三种技术——复合词翻译、音译与缩略词展开时，系统达到了与日语-日语单语IR相当的平均精度水平。
• 检索模块的增强（如使用SMART模型）独立提升了性能，表明更优的检索算法可进一步放大改进查询翻译带来的优势。