[论文解读] Improving Classification When a Class Hierarchy is Available Using a Hierarchy-Based Prior

Babak Shahbaba, Radford M. Neal|ArXiv.org|Oct 20, 2005

Imbalanced Data Classification Techniques参考文献 9被引用 5

一句话总结

本文提出了一种具有基于层次结构先验的贝叶斯多项对数几率模型，通过在预定义的类别层次结构中关联相近类别的分类参数，提升了分类准确率——尤其在训练数据有限时效果显著。该方法在模拟数据和真实文档标注任务中均优于标准MNL模型和嵌套MNL模型，展现出更低的错误率和更高的对数似然值，前提是有结构化的先验知识可用。

ABSTRACT

We introduce a new method for building classification models when we have prior knowledge of how the classes can be arranged in a hierarchy, based on how easily they can be distinguished. The new method uses a Bayesian form of the multinomial logit (MNL, a.k.a. ``softmax'') model, with a prior that introduces correlations between the parameters for classes that are nearby in the tree. We compare the performance on simulated data of the new method, the ordinary MNL model, and a model that uses the hierarchy in different way. We also test the new method on a document labelling problem, and find that it performs better than the other methods, particularly when the amount of training data is small.

研究动机与目标

• 在已知通过层次结构体现的类别相似性先验知识时，提升分类性能。
• 解决标准多项对数几率（MNL）模型的局限性，即忽略层次结构而将类别视为独立。
• 开发一种通过树状类别层次结构编码类别相似性先验信念的方法，利用相关参数先验实现。
• 在模拟数据和真实世界数据上，评估该方法相较于标准MNL和嵌套MNL模型的性能表现。
• 证明该方法在低数据场景下的有效性，此时先验知识的价值最为突出。

提出的方法

• 采用贝叶斯形式的多项对数几率（MNL）模型，引入层次先验，使树状层次结构中邻近类别的回归系数产生相关性。
• 定义先验使得在树中共享共同祖先的类别具有相关参数，反映相似类别更难区分的假设。
• 通过从根节点到每个类别的路径上累加贡献，对MNL模型参数施加层次先验，超参数控制相关性的强度。
• 采用马尔可夫链蒙特卡洛（MCMC）进行后验推断，并在精度参数上设置超先验（伽马分布），以实现自动调节。
• 通过重新参数化保持类别间的对称性，同时避免MNL模型中的冗余。
• 通过MCMC采样过程中超参数和平均对数似然的轨迹图验证收敛性。

实验结果

研究问题

• RQ1 将类别层次结构融入多项对数几率模型的先验中，是否能相比标准MNL模型提升分类性能？
• RQ2 所提出的基于层次结构的先验模型相较于将层次结构分解为顺序选择的嵌套MNL模型，性能如何？
• RQ3 当训练数据有限时，该方法是否表现出更大改进，正如预期的那样，因为在低数据场景下先验知识最为关键？
• RQ4 该方法能否通过树状层次结构中的相关参数先验有效建模类别相似性？
• RQ5 该方法在具有复杂类别结构的真实世界分类问题中是否具备鲁棒性和可扩展性？

主要发现

• 在模拟数据中，所提出的基于层次结构的先验模型（corMNL）的错误率（9.3%）和平均对数概率（-0.3602）均优于标准MNL（9.4%错误率，-0.3998对数概率）和Laven的基于似然的模型。
• 在完整训练数据的文档标注任务中，corMNL在平均对数概率和错误率上均优于MNL和treeMNL，且对数概率的提升具有统计显著性（vs. MNL的p = 0.002，vs. treeMNL的p = 0.004）。
• 仅使用200个训练样本时，corMNL的平均对数概率（-0.5160）显著高于MNL（-0.5441）和treeMNL（-0.5381），p值分别为0.002和0.004。
• corMNL在错误率上的改进略不显著（vs. MNL的p = 0.09，vs. treeMNL的p = 0.06），表明对数概率是检测性能提升的更敏感指标。
• 标准MNL和treeMNL模型在性能上无统计显著差异，表明嵌套MNL方法并不总是优于标准MNL。
• 结果证实，通过相关先验引入层次结构可提升泛化能力，尤其在数据稀缺时效果更明显。