[论文解读] Extension of TSVM to Multi-Class and Hierarchical Text Classification Problems With General Losses

Sathiya Keerthi Selvaraj, Sundararajan Sellamanickam+1 more|arXiv (Cornell University)|Nov 1, 2012

Text and Document Classification Technologies参考文献 23被引用 8

一句话总结

该论文通过将标签分配问题建模为线性规划问题，将归纳支持向量机（TSVM）扩展至多分类和层次化文本分类任务，采用通用损失函数，并利用交替优化实现高效求解。实验结果表明，该方法在大间隔损失下显著优于期望正则化、后验正则化和熵正则化方法，同时有效处理了标签数量约束。

ABSTRACT

Transductive SVM (TSVM) is a well known semi-supervised large margin learning method for binary text classification. In this paper we extend this method to multi-class and hierarchical classification problems. We point out that the determination of labels of unlabeled examples with fixed classifier weights is a linear programming problem. We devise an efficient technique for solving it. The method is applicable to general loss functions. We demonstrate the value of the new method using large margin loss on a number of multi-class and hierarchical classification datasets. For maxent loss we show empirically that our method is better than expectation regularization/constraint and posterior regularization methods, and competitive with the version of entropy regularization method which uses label constraints.

研究动机与目标

• 将归纳支持向量机（TSVM）从二分类问题扩展至多分类和层次化文本分类任务。
• 开发一种支持通用损失函数（包括大间隔损失和最大熵损失）的半监督学习方法。
• 通过标签数量约束 n(y) 嵌入领域知识，防止在未标记数据标注过程中出现多数类偏差。
• 提供一种高效的优化框架，通过交替更新分类器权重 w 和未标记样本的标签 y^u 实现。
• 与现有半监督方法（如熵正则化、期望正则化和后验正则化）相比，展示出更优的性能。

提出的方法

• 当分类器权重 w 固定时，将未标记样本的标签分配问题建模为线性规划（LP）问题，从而实现高效计算。
• 采用交替优化策略：固定 w 并通过 LP 求解 y^u，随后固定 y^u 并使用标准凸优化方法优化 w。
• 通过在每个类别分配的未标记样本数量上施加等式约束，实现对标签数量约束 n(y) 的有效控制，避免向多数类倾斜。
• 通过在目标函数中引入损失项 ξ(w, x_i^u, y_i^u)，支持通用损失函数，包括大间隔损失和最大熵损失。
• 对于最大熵损失，该方法通过直接优化离散标签分配避免对复杂约束函数的梯度计算，与依赖软标签分布的方法形成对比。
• 该方法在层次结构中同样具备可扩展性和有效性，其中特征和权重定义在整个层次结构上，仅从根到叶标签路径上的节点被激活。

实验结果

研究问题

• RQ1 TSVM 框架能否有效扩展至支持通用损失函数的多分类和层次化文本分类任务？
• RQ2 所提出的基于 LP 的标签分配方法在性能上是否优于现有半监督方法（如熵正则化和后验正则化）？
• RQ3 在多分类和层次化设置中，能否在不依赖对软标签分布进行梯度计算的前提下，高效地强制执行标签数量约束 n(y)？
• RQ4 在 w 和 y^u 之间交替优化是否优于基于期望标签分布连续松弛方法的优化策略？
• RQ5 该方法在具有复杂标签结构的大规模文本分类数据集上的表现如何？

主要发现

• 在二分类文本分类数据集（gcat 和 aut-avn）上，所提方法显著优于期望正则化和后验正则化方法，尤其在第一类的 F1 值上表现更优。
• 对于最大熵损失，该方法在实验中优于期望正则化/约束和后验正则化方法，且与使用标签约束的熵正则化方法具有可比性。
• 在使用大间隔损失时，该方法在多分类和层次化分类任务中均表现出色，证明了基于 LP 的离散标签分配策略的有效性。
• 通过结合交替优化与基于 LP 的标签分配，该方法能够高效处理领域约束，且无需计算复杂约束函数的梯度。
• 即使在标签数量约束 n(y) 精确已知的情况下，该方法依然表现出鲁棒性和有效性，避免了半监督模型将所有未标记样本分配给多数类的倾向。
• 该方法具备可扩展性和通用性，可推广至结构化预测问题（包括部分标签情形），通过将未知标签视为 y^u 集合的一部分进行处理。