[论文解读] LSHTC: A Benchmark for Large-Scale Text Classification

Ioannis Partalas, Aris Kosmopoulos+7 more|arXiv (Cornell University)|Mar 30, 2015

Text and Document Classification Technologies参考文献 4被引用 137

一句话总结

本论文提出了LSHTC，一个用于大规模文本分类的基准，支持高达数十万个类别的分类任务，数据集来源于维基百科（DBpedia）和开放目录项目（DMOZ）。该基准在层次化、多标签和扁平化分类任务中对各类系统进行了评估，结果表明，无论采用层次化方法还是扁平化方法，均能达到当前最优性能，表现最佳的系统采用了SVM、在线学习、中心点法和集成学习技术。

ABSTRACT

LSHTC is a series of challenges which aims to assess the performance of classification systems in large-scale classification in a a large number of classes (up to hundreds of thousands). This paper describes the dataset that have been released along the LSHTC series. The paper details the construction of the datsets and the design of the tracks as well as the evaluation measures that we implemented and a quick overview of the results. All of these datasets are available online and runs may still be submitted on the online server of the challenges.

研究动机与目标

• 建立一个标准化的基准，用于大规模文本分类，类别数量可达数十万个。
• 评估分类系统在网页规模应用中常见的极端多分类场景下的性能表现。
• 支持多样化的分类任务，包括层次化、多标签和扁平化设置，使用真实世界网络语料。
• 提供公开可获取的数据集和在线评估机制，以支持可复现的研究与系统对比。
• 推动可扩展学习方法的研究，以应对大规模层次结构中数据稀疏性和复杂类别关系的问题。

提出的方法

• 从DBpedia和DMOZ构建两个主要数据集，采用稀疏向量表示法，包含特征ID和词频信息。
• 将每个文本实例映射到唯一类别或类别集合，各类别ID按不同任务类型分配，以防止数据泄露。
• 提供以路径或父子关系格式存储的层次结构文件，用于编码类别之间的关系，其中DMOZ为树形结构，DBpedia为有向无环图。
• 设计多种不同规模与设置的赛道——包括扁平化、层次化、多任务和无监督学习——覆盖四届挑战赛（2009–2014年）。
• 实现层次化评估指标，考虑父类与子类之间的关系，提升性能评估的公平性。
• 通过公共服务器支持系统在线提交与排名，允许与以往参赛者的结果进行对比。

实验结果

研究问题

• RQ1 在类别数量高达10万个的超大规模文本分类任务中，不同分类算法的性能表现如何？
• RQ2 在具有复杂类别关系的极端多分类场景下，层次化方法相较于扁平化方法在多大程度上更具优势？
• RQ3 通过专门设计的学习技术，能否有效缓解大规模层次结构中出现的数据稀疏性和类别不平衡问题？
• RQ4 在大规模基准上，集成方法、基于中心点的方法和在线学习方法在可扩展性与准确性方面如何比较？
• RQ5 元特征与阈值策略在层次化框架内提升多分类性能方面起到何种作用？

主要发现

• LSHTC基准成功支撑了2009至2014年共四届挑战赛，吸引了全球超过150支团队参与。
• 表现最佳的系统既包括层次化方法也包括扁平化方法，多项式SVM与在线学习方法取得了当前最优结果。
• 在LSHTC1中，最佳系统采用层次化多项式SVM（alpaca），另一系统采用在线训练方法，两者均显著优于标准基线。
• 在LSHTC2中，扁平化方法如关联网络和基于BM25相似度的KNN方法胜出，显示出与层次化模型相当的竞争力。
• 在LSHTC3中，采用元特征与剪枝策略的层次化方法达到顶尖性能，而基于朴素贝叶斯与k-NN的集成方法在扁平化设置中依然表现强劲。
• 该基准表明，层次化评估指标能显著提升在复杂多层分类任务中对系统性能评估的公平性与准确性。