[论文解读] Automatic Generation of Language-Independent Features for Cross-Lingual Classification

Sarai Duek, Shaul Markovitch|arXiv (Cornell University)|Feb 12, 2018

Natural Language Processing Techniques参考文献 12被引用 3

一句话总结

本文提出了一种基于分层本体（Wikipedia）的语言无关特征生成框架，用于跨语言文本分类。通过使用多语言支持文本构建语言特定的解释器，并利用本体层次结构为缺失语言生成虚拟文档，该方法实现了混合语言数据的训练，并在标准基准测试中优于现有基线方法。

ABSTRACT

Many applications require categorization of text documents using predefined categories. The main approach to performing text categorization is learning from labeled examples. For many tasks, it may be difficult to find examples in one language but easy in others. The problem of learning from examples in one or more languages and classifying (categorizing) in another is called cross-lingual learning. In this work, we present a novel approach that solves the general cross-lingual text categorization problem. Our method generates, for each training document, a set of language-independent features. Using these features for training yields a language-independent classifier. At the classification stage, we generate language-independent features for the unlabeled document, and apply the classifier on the new representation. To build the feature generator, we utilize a hierarchical language-independent ontology, where each concept has a set of support documents for each language involved. In the preprocessing stage, we use the support documents to build a set of language-independent feature generators, one for each language. The collection of these generators is used to map any document into the language-independent feature space. Our methodology works on the most general cross-lingual text categorization problems, being able to learn from any mix of languages and classify documents in any other language. We also present a method for exploiting the hierarchical structure of the ontology to create virtual supporting documents for languages that do not have them. We tested our method, using Wikipedia as our ontology, on the most commonly used test collections in cross-lingual text categorization, and found that it outperforms existing methods.

研究动机与目标

• 解决训练和测试文档使用不同语言的跨语言文本分类挑战。
• 克服基于翻译的方法的局限性，后者依赖于不完美的机器翻译且计算开销大。
• 通过使用分层本体将文档映射到共享语义特征空间，构建语言无关的分类器。
• 通过利用本体层次结构生成虚拟文档，处理某些语言缺乏特定本体概念支持文档的情况。
• 实现训练和分类时在训练集和测试集中使用任意语言组合，而无需目标语言的标注数据。

提出的方法

• 该方法以分层、语言无关的本体——特别是Wikipedia概念和类别——为基础，构建语言无关的特征。
• 针对每种语言，使用与该语言中每个概念相关联的支持文档（例如，Wikipedia文章文本）构建语言特定的解释器。
• 解释器基于语义概念匹配将输入文档映射为特征向量，采用显式语义分析（ESA）原理，不通过SVD进行降维。
• 提出一种新颖的虚拟文档生成算法，利用Wikipedia类别层次结构，为缺乏语言特定文档的概念合成合理的支持文本。
• 该框架支持混合语言训练和推理，允许在训练集和测试集中使用任意语言组合。
• 分类器在语言无关的特征向量上进行训练，并在将未标注文档类似地映射到同一特征空间后应用于这些文档。

实验结果

研究问题

• RQ1 能否使用多语言本体构建语言无关的特征空间，以实现跨语言文本分类？
• RQ2 如何构建语言特定的解释器，以将任何语言的文档映射到共享语义特征空间？
• RQ3 在多大程度上可以利用本体的层次结构为缺乏支持文档的语言生成虚拟支持文档？
• RQ4 所提出的方法是否在标准跨语言文本分类基准上优于基于翻译和其他语言无关特征的方法？
• RQ5 该框架能否在无需目标语言标注数据的情况下，处理训练集和测试集中任意语言组合的情况？

主要发现

• 所提出的方法在标准跨语言文本分类基准上优于现有的基于翻译和语言无关特征的方法。
• 利用本体层次结构生成的虚拟文档在真实支持文档缺失的低资源语言设置中显著提升了性能。
• 该框架能够有效实现跨语言学习，支持训练和测试中任意语言组合，无需平行语料库或双语词典。
• 保留显式语义概念（不通过SVD进行降维）的性能优于采用特征压缩的方法。
• Wikipedia作为知识源的动态特性确保了系统能够及时反映当前事件和新兴概念。