[论文解读] Filter based Taxonomy Modification for Improving Hierarchical Classification

Azad Naik, Huzefa Rangwala|arXiv (Cornell University)|Mar 2, 2016

Text and Document Classification Technologies参考文献 23被引用 4

一句话总结

本文提出了一种可扩展的、基于数据的过滤式重布线方法（rewHier），通过修改专家定义的分类体系来提升层次分类性能。与成本高昂的包装器方法不同，rewHier利用基于相似度的过滤机制高效重构分类体系，在大规模数据集（如DMOZ）上显著提升性能，尤其在罕见类别上表现突出，优于平坦分类和当前最先进的层次分类方法。

ABSTRACT

Hierarchical Classification (HC) is a supervised learning problem where unlabeled instances are classified into a taxonomy of classes. Several methods that utilize the hierarchical structure have been developed to improve the HC performance. However, in most cases apriori defined hierarchical structure by domain experts is inconsistent; as a consequence performance improvement is not noticeable in comparison to flat classification methods. We propose a scalable data-driven filter based rewiring approach to modify an expert-defined hierarchy. Experimental comparisons of top-down HC with our modified hierarchy, on a wide range of datasets shows classification performance improvement over the baseline hierarchy (i:e:, defined by expert), clustered hierarchy and flattening based hierarchy modification approaches. In comparison to existing rewiring approaches, our developed method (rewHier) is computationally efficient, enabling it to scale to datasets with large numbers of classes, instances and features. We also show that our modified hierarchy leads to improved classification performance for classes with few training samples in comparison to flat and state-of-the-art HC approaches.

研究动机与目标

• 解决由于结构不一致导致专家定义的分类体系在层次分类中表现不佳的问题。
• 开发一种可扩展且高效的分类体系修改方法，以提升分类准确率，尤其针对训练样本极少的罕见类别。
• 克服在大规模场景下包装器方法进行分类体系重布线在计算上的不可行性。
• 在多种数据集和分类方法上评估修改后分类体系的有效性。
• 证明基于数据的分类体系优化优于聚类和扁平化方法在层次分类中的表现。

提出的方法

• 该方法采用基于过滤的策略，通过识别并修改基于类别间特征相似度的次优父子关系，对专家定义的分类体系进行重布线。
• 应用相似度阈值以判断是否将子节点重新分配给其他父节点，重点提升叶节点的分类性能。
• 重布线过程为迭代且贪心的，优先选择能最大化预期性能提升的更改，且无需重复训练。
• 该方法计算效率高，无需多次评估完整分类流水线，与包装器方法形成鲜明对比。
• 可兼容任何自顶向下的层次分类框架（如TD-LR或HierCost），并适用于高维、大规模数据集。
• 采用宏F1和层次F1等指标进行评估，性能与平坦分类及其他分类体系修改技术进行对比。

实验结果

研究问题

• RQ1 基于数据的、过滤式的分类体系重布线方法是否能比专家定义的、聚类的或扁平化的分类体系更有效地提升层次分类性能？
• RQ2 所提出的重布线方法在罕见类别（训练样本少于10个）上的表现是否优于平坦分类或当前最先进的层次分类器？
• RQ3 在大规模数据集上，该方法的计算效率与现有包装器方法相比如何？
• RQ4 修改后的分类体系在DMOZ等多样化基准数据集上能多大程度上提升分类性能？
• RQ5 修改后的分类体系是否可有效应用于多种层次分类算法，而无需针对特定算法进行调整？

主要发现

• 在DMOZ数据集中，所提出的rewHier方法在65%的罕见类别（训练样本少于10个）上相比平坦分类方法提升了分类性能。
• 使用重布线后分类体系的自顶向下层次分类方法在宏F1和层次F1得分上均优于原始专家定义的分类体系以及扁平化或聚类变体。
• 在DMOZ-2012数据集上，使用重布线分类体系训练的TD-LR模型相比平坦分类和HierCost模型，预测运行时间实现了3.5倍的加速。
• 该方法在多个数据集和分类方法（包括TD-LR和HierCost）上均表现出一致的性能提升，且对罕见类别的提升具有统计显著性。
• 重布线后的分类体系显著提升了罕见类别的泛化能力，减少了过拟合现象，并在数据稀缺为主要挑战的场景下提高了F1分数。
• 基于过滤的方法在计算效率上的优势使其能够扩展至包含数千个类别和高维特征的大规模数据集，而此前的包装器方法难以实现。