[论文解读] Cross Language Text Classification via Subspace Co-Regularized Multi-View Learning

Yuhong Guo, Min Xiao|arXiv (Cornell University)|Jun 27, 2012

Text and Document Classification Technologies参考文献 20被引用 39

一句话总结

本文提出了一种子空间协同正则化多视图学习方法，用于利用机器翻译生成的平行语料进行跨语言文本分类。通过联合最小化分类误差并强制平行文档的子空间表示之间的一致性，该方法在多种多语言文本分类任务中，优于归纳学习、领域自适应和多视图学习方法，表现出更优的性能。

ABSTRACT

In many multilingual text classification problems, the documents in different languages often share the same set of categories. To reduce the labeling cost of training a classification model for each individual language, it is important to transfer the label knowledge gained from one language to another language by conducting cross language classification. In this paper we develop a novel subspace co-regularized multi-view learning method for cross language text classification. This method is built on parallel corpora produced by machine translation. It jointly minimizes the training error of each classifier in each language while penalizing the distance between the subspace representations of parallel documents. Our empirical study on a large set of cross language text classification tasks shows the proposed method consistently outperforms a number of inductive methods, domain adaptation methods, and multi-view learning methods.

研究动机与目标

• 通过跨语言知识迁移，降低多语言文本分类的标注成本。
• 通过利用机器翻译生成的平行语料，解决低资源语言中标注数据有限的挑战。
• 通过共享子空间表示，在多个语言视图上联合学习，提升分类性能。
• 开发一种协同正则化框架，实现跨语言文档表示对齐，同时最小化分类误差。

提出的方法

• 该方法利用机器翻译生成的平行语料，为同一内容在不同语言中形成多个视图。
• 采用多视图学习框架，其中每种语言构成一个独立视图，并拥有各自的分类器。
• 通过协同正则化项惩罚不同语言间平行文档的子空间表示之间的距离。
• 优化过程联合最小化每种语言的训练误差，以及共享子空间中不同语言间表示的差异。
• 通过降维学习子空间表示，确保来自不同语言的对齐文档在共享空间中彼此接近。
• 通过联合目标函数（结合分类损失与协同正则化惩罚）端到端训练该方法。

实验结果

研究问题

• RQ1 子空间协同正则化能否通过跨语言对齐平行文档的表示，提升跨语言文本分类性能？
• RQ2 在多语言设置下，该方法与归纳迁移、领域自适应和标准多视图学习相比表现如何？
• RQ3 当目标语言中标注数据稀缺时，通过共享子空间表示进行协同正则化在多大程度上提升了泛化能力？
• RQ4 对分类误差与表示对齐进行联合优化，是否能在多种语言对中带来一致的性能提升？

主要发现

• 所提出的方法在广泛的跨语言文本分类任务中，始终优于基线归纳迁移方法。
• 在低资源语言场景下，其性能显著优于领域自适应和标准多视图学习方法。
• 协同正则化组件通过对齐平行文档的子空间表示，有效缓解了语言之间的领域偏移。
• 实证结果表明，对分类与表示对齐进行联合优化，能提升跨语言对之间模型的鲁棒性与泛化能力。