[论文解读] Cross-Language Question Re-Ranking

Giovanni Da San Martino, Salvatore Romeo+5 more|arXiv (Cornell University)|Oct 4, 2017

Topic Modeling参考文献 9被引用 9

一句话总结

本文提出了一种用于阿拉伯语-英语社区论坛的跨语言问题重排序方法，采用跨语言树核与跨语言神经嵌入。结果表明，两种方法均显著降低了翻译带来的性能下降，其中基于核的方法在所有设置下均优于神经网络方法，几乎弥合了与单语性能的差距。

ABSTRACT

We study how to find relevant questions in community forums when the language of the new questions is different from that of the existing questions in the forum. In particular, we explore the Arabic-English language pair. We compare a kernel-based system with a feed-forward neural network in a scenario where a large parallel corpus is available for training a machine translation system, bilingual dictionaries, and cross-language word embeddings. We observe that both approaches degrade the performance of the system when working on the translated text, especially the kernel-based system, which depends heavily on a syntactic kernel. We address this issue using a cross-language tree kernel, which compares the original Arabic tree to the English trees of the related questions. We show that this kernel almost closes the performance gap with respect to the monolingual system. On the neural network side, we use the parallel corpus to train cross-language embeddings, which we then use to represent the Arabic input and the English related questions in the same space. The results also improve to close to those of the monolingual neural network. Overall, the kernel system shows a better performance compared to the neural network in all cases.

研究动机与目标

• 为解决在查询与候选问题分属不同语言（特别是阿拉伯语与英语）的社区论坛中寻找相关问题的挑战。
• 评估基于核的方法与基于神经网络的方法在利用现有平行资源时，哪一种更适用于跨语言问题重排序。
• 降低在重排序前将问题翻译为目标语言所导致的性能下降。
• 探究跨语言树核在跨语言间比较句法结构方面的有效性。
• 研究在低资源跨语言设置下，基于平行语料库训练的跨语言词嵌入是否能提升基于神经网络的重排序效果。

提出的方法

• 本文采用一种跨语言树核，将原始阿拉伯语文本的句法解析树与翻译后的英文候选问题的解析树进行比较。
• 基于核的系统利用该树核计算查询与候选问题之间的相似度，替代标准句法核（在翻译文本上表现不佳）。
• 对于神经网络方法，基于大规模平行语料库训练跨语言词嵌入，将阿拉伯语与英语词汇映射到共享语义空间。
• 神经模型利用这些共享嵌入，将阿拉伯语查询与英文候选问题表示在同一个向量空间中。
• 两种系统均在基于阿拉伯语-英语论坛对的基准数据集上，针对跨语言问题重排序任务进行评估。
• 通过与单语基线进行比较，衡量由跨语言翻译引入的性能差距。

实验结果

研究问题

• RQ1 跨语言树核是否能缓解在查询与候选问题分属不同语言时，问题重排序中的性能下降？
• RQ2 在跨语言问题重排序中，基于核的系统与基于神经网络的系统性能相比如何？
• RQ3 在低资源跨语言设置下，基于平行语料库训练的跨语言词嵌入能在多大程度上提升神经网络重排序效果？
• RQ4 与仅依赖词级别嵌入相比，跨语言间句法结构比较是否能带来更好的检索性能？
• RQ5 仅通过翻译与可用的平行资源，跨语言重排序系统能在多大程度上接近单语性能？

主要发现

• 与标准核方法相比，跨语言树核显著降低了性能下降，几乎弥合了与单语系统的性能差距。
• 尽管神经网络模型使用了跨语言嵌入，基于核的方法在所有评估设置下仍优于基于神经网络的方法。
• 神经网络方法在使用跨语言嵌入后有所改进，但仍逊于基于核的方法，即使其已接近单语性能。
• 标准核方法在应用于翻译文本时性能显著下降，尤其因对句法结构的依赖在翻译过程中被破坏。
• 跨语言树核能有效保留跨语言间的句法关系，从而实现对不同语言问题间更准确的相似度计算。
• 所提出的两种方法——树核与跨语言嵌入——在提升社区论坛中的跨语言信息检索方面均展现出强大潜力。