[论文解读] Kaggle LSHTC4 Winning Solution

Antti Puurula, Jesse Read+1 more|arXiv (Cornell University)|May 3, 2014

Algorithms and Data Compression参考文献 7被引用 21

一句话总结

本文提出了2014年Kaggle LSHTC4竞赛中大规模层次文本分类任务的获胜解决方案，采用基于多项式朴素贝叶斯的稀疏生成模型集成，结合层次平滑、TF-IDF以及定制化的BM25变体进行特征加权。关键创新在于转置预测——即按标签预测文档得分，而非按文档预测标签——并结合特征加权线性堆叠，最终在测试集上实现了34%的宏平均F1分数。

ABSTRACT

Our winning submission to the 2014 Kaggle competition for Large Scale Hierarchical Text Classification (LSHTC) consists mostly of an ensemble of sparse generative models extending Multinomial Naive Bayes. The base-classifiers consist of hierarchically smoothed models combining document, label, and hierarchy level Multinomials, with feature pre-processing using variants of TF-IDF and BM25. Additional diversification is introduced by different types of folds and random search optimization for different measures. The ensemble algorithm optimizes macroFscore by predicting the documents for each label, instead of the usual prediction of labels per document. Scores for documents are predicted by weighted voting of base-classifier outputs with a variant of Feature-Weighted Linear Stacking. The number of documents per label is chosen using label priors and thresholding of vote scores. This document describes the models and software used to build our solution. Reproducing the results for our solution can be done by running the scripts included in the Kaggle package. A package omitting precomputed result files is also distributed. All code is open source, released under GNU GPL 2.0, and GPL 3.0 for Weka and Meka dependencies.

研究动机与目标

• 解决超过10万个标签、且特征向量稀疏且经剪枝的大规模层次文本分类挑战。
• 克服当大多数标签稀有或缺失时宏平均F1优化的不稳定性。
• 设计可扩展且高精度的基分类器，通过稀疏存储和倒排索引实现高效推理。
• 开发一种通过转置预测和元学习回归优化宏平均F1的集成策略。
• 通过发布开源代码、预计算的模型结果和配置模板，实现可复现性。

提出的方法

• 该解决方案采用稀疏生成模型的集成，基于多项式朴素贝叶斯扩展，引入在文档、标签和层次结构层级上的受限有限混合模型。
• 使用层次平滑和核密度估计（包括定制化的BM25变体）来建模标签与文档之间的依赖关系。
• 通过稀疏预计算模型和倒排索引加速推理，根据稀疏性降低计算复杂度。
• 基分类器在10折交叉验证的开发集上使用高斯随机搜索进行训练与优化。
• 集成采用转置预测：不按文档预测标签，而是按标签预测文档得分，随后通过特征加权线性堆叠进行加权投票。
• 利用基分类器输出的元特征训练Weka的LinearRegression模型以预测投票权重，正则化参数设为1000以防止过拟合。

实验结果

研究问题

• RQ1 当大多数标签稀有或缺失时，如何在大规模多标签文本分类中有效优化宏平均F1？
• RQ2 稀疏生成模型结合层次平滑与高级特征加权，是否能在层次文本分类中超越KNN或标准朴素贝叶斯等传统方法？
• RQ3 转置预测（即按标签预测文档得分）是否相比标准标签预测能提升宏平均F1性能？
• RQ4 在高维稀疏文本分类中，特征加权线性堆叠相比多数投票在多大程度上提升了集成性能？
• RQ5 如何通过稀疏推理与预计算表示，高效训练并部署参数量高达1亿的可扩展高容量模型？

主要发现

• 集成在测试集上实现了34%的宏平均F1分数，显著优于初始基线模型约22%的得分。
• 转置预测结合集成优化，使性能实现显著跃升，得分从约27%提升至34%。
• 特征加权线性堆叠相比多数投票提供了适度但关键的0.5%改进，对赢得竞赛起到了决定性作用。
• Weka LinearRegression元学习器的最优正则化参数异常偏高，达1000，表明在23k的开发集上存在过拟合风险。
• 使用定制化的BM25变体进行特征加权与层次平滑，显著提升了准确率，优于标准TF-IDF与基于插值的平滑方法。
• 通过稀疏存储与倒排索引，该方案可扩展至参数量高达1亿的模型，实现在8GB内存内高效推理与集成组合。