[论文解读] K-vec: A New Approach for Aligning Parallel Texts

Pascale Fung, Kenneth Church|ArXiv.org|Jul 25, 1994

Natural Language Processing Techniques参考文献 1被引用 25

一句话总结

K-vec 提出了一种新颖的方法，通过比较分段文本块中词出现的分布相似性来对齐平行文本，利用K维二值向量之间的互信息来识别潜在的翻译对，而无需依赖句子边界或共享字符集。该方法成功从加拿大下议院记录中恢复出一个双语词典，包括非同源词对如 'fisheries' → 'pêches' 和 'Santé' → 'Welfare'，证明了其在非印欧语系语言对中的适用性。

ABSTRACT

Various methods have been proposed for aligning texts in two or more languages such as the Canadian Parliamentary Debates(Hansards). Some of these methods generate a bilingual lexicon as a by-product. We present an alternative alignment strategy which we call K-vec, that starts by estimating the lexicon. For example, it discovers that the English word "fisheries" is similar to the French "pe^ches" by noting that the distribution of "fisheries" in the English text is similar to the distribution of "pe^ches" in the French. K-vec does not depend on sentence boundaries.

研究动机与目标

• 开发一种不依赖共享字符序列或句子级对齐的平行文本对齐方法，使其可应用于英语-日语或英语-中文等非欧洲语言对。
• 通过检测源语文本和目标语文本中词语之间的分布相似性，估计双语词典，即使这些词并非同源词。
• 克服现有方法（如 char_align）的局限性，后者在非字母相似语言中失效，因其依赖于字符序列匹配。
• 提供一种可扩展的、基于分布的替代传统对齐技术的方法，可应用于低资源或非欧洲语言对。

提出的方法

• 将文本划分为K个等长段落，每个词的出现情况编码为K维二值向量，表示该词出现在哪些段落中。
• 对于每对词语（例如 'fisheries' 和 'pêches'），算法计算其K向量之间的互信息，以评估分布相似性。
• 互信息得分计算为 log2[ P(Vf,Vp) / (P(Vf) * P(Vp)) ]，其中 Vf 和 Vp 分别为源语文本和目标语文本词语的二值向量。
• 使用t统计量评估统计显著性，确保高互信息得分并非由少数段落中的随机共现引起。
• 采用启发式频率过滤（3–10次出现）以限制搜索空间并提高计算效率。
• K 设置为语料库大小的平方根，以在分辨率和信号检测之间取得平衡，避免因过度分段导致的噪声或信号遗漏。

实验结果

研究问题

• RQ1 在不依赖共享字符序列的前提下，通过文本段中词出现的分布相似性是否能可靠识别双语词对？
• RQ2 如何利用K-vec向量之间的互信息来区分真实翻译与虚假共现？
• RQ3 在跨语言词对齐中，何种K值能最佳平衡分辨率与统计可靠性？
• RQ4 该方法能否为英语-日语或英语-中文等非欧洲语言对生成可用的双语词典？

主要发现

• K-vec 方法成功识别出30对具有高互信息的显著词对，包括非同源翻译如 'fisheries' → 'pêches' 和 'Santé' → 'Welfare'。
• 当 K=100 时，'fisheries' 与 'pêches' 的互信息得分具有统计显著性（t∼2.1），即使在 K=10 时段落数较少，也确认了其对齐关系。
• 该算法正确排除了非翻译对，如 'fisheries' 与 'lections'，其互信息较低且虚假共现的t统计量较高。
• 该方法检测到了基于搭配的翻译，如 'acheteur' → 'Limited' 和 'bois' → 'lumber'，表明其对语义和搭配相似性的敏感性。
• 点图可视化显示了一条清晰的对角线，表明对齐词对的分布模式，证实了算法追踪文本中对齐模式的能力。
• 该方法生成了一个快速而粗糙的双语词典，可作为更精确对齐算法（如 word_align）的起点。