[论文解读] HiNet: Hierarchical Classification with Neural Network

Zhenhua Wu, Sean Saito|arXiv (Cornell University)|May 31, 2017

Machine Learning and Data Classification参考文献 2被引用 8

一句话总结

HiNet 提出了一种用于大规模分类（超过 10,000 个标签）的分层神经网络，将层次结构建模为分层神经元，并在训练过程中使用共享的多级损失函数。推理时采用贪心的下冲算法（downpour），高效计算最大后验概率（MAP）路径，相比平坦网络在显著降低参数复杂度（O(n²) 对比 O(n^h)）的同时实现了更高的准确率。

ABSTRACT

Traditionally, classifying large hierarchical labels with more than 10000 distinct traces can only be achieved with flatten labels. Although flatten labels is feasible, it misses the hierarchical information in the labels. Hierarchical models like HSVM by \cite{vural2004hierarchical} becomes impossible to train because of the sheer number of SVMs in the whole architecture. We developed a hierarchical architecture based on neural networks that is simple to train. Also, we derived an inference algorithm that can efficiently infer the MAP (maximum a posteriori) trace guaranteed by our theorems. Furthermore, the complexity of the model is only $O(n^2)$ compared to $O(n^h)$ in a flatten model, where $h$ is the height of the hierarchy.

研究动机与目标

• 解决在超过 10,000 个不同类别的大规模分层标签空间上进行训练和推理的挑战。
• 克服传统分层模型（如 HSVM）的局限性，后者因所需支持向量机（SVM）数量呈指数增长而变得不可行。
• 在训练和推理过程中保持分层标签结构，避免平坦化标签方法固有的结构先验信息丢失。
• 开发一种可扩展且参数高效的架构，在深层分层结构下仍能保持高准确率。
• 提供一种理论基础坚实的推理算法，通过贪心下冲方法保证在层次结构中找到 MAP 路径。

提出的方法

• 将层次结构建模为分层神经网络，其中每个标签表示为一个神经元，并在每一层设置一个停止神经元（红色）以终止路径。
• 在训练过程中使用所有分层级别的联合损失函数：$ E = \sum_{k}^{n} (\tilde{\mathbf{y}}^{(k)} - f_{\theta_k}(\mathbf{X}))^2 $，实现层级间知识迁移。
• 通过联合损失函数的共享梯度更新，在层级之间实现迁移学习，提升泛化能力和层级一致性。
• 在推理阶段，计算每一层的后验概率 $ \mathbf{y}^{(k)} $，然后应用下冲算法贪心地重构 MAP 路径。
• 下冲算法通过 $ A = \arg\max_a y_b^{(l)} y_a^{(l-1)} $ 计算父节点分配，逐层更新路径和概率。
• 最终的 MAP 路径选择为在所有层级中终止于停止神经元且概率最高的路径：$ L = \arg\max_l y_s^{(l)} $。

实验结果

研究问题

• RQ1 神经网络架构能否在有效保留结构关系的同时，对包含超过 10,000 个类别的大规模分层标签空间进行有效建模？
• RQ2 与平坦模型或基于节点的分层模型相比，多级联合损失函数是否能提升性能？
• RQ3 像下冲这样的贪心推理算法是否能在分层分类设置中保证找到 MAP 路径？
• RQ4 随着分层深度的增加，HiNet 的参数复杂度与平坦模型相比如何变化？
• RQ5 HiNet 是否在大规模分层数据集上，以显著更低的参数量实现比平坦神经网络更高的准确率？

主要发现

• HiNet 在包含 11,947 个类别的 DMOZ 数据集上实现了 41.4% 的准确率，优于基线平坦网络。
• HiNet 的参数数量按 $ O(kn + hn^2) $ 规律增长，为多项式复杂度，而平坦网络的复杂度为 $ O(kn^h) $，随分层高度 $ h $ 呈指数增长。
• 下冲算法可证明地找到 MAP 路径，依据定理 2.1–2.3，保证不存在更长路径具有更高的后验概率。
• 由于联合损失函数实现的层级间有效知识迁移，HiNet 即使在深层分层结构中也能保持高准确率。
• 该模型的参数效率在极深或极宽的分层结构中尤为突出，此时平坦模型因参数呈指数增长而变得不可行。
• 在每一层使用停止神经元，可实现灵活的路径终止，并支持可变长度分层路径的推理。