[论文解读] Hyperbolic Random Forests

Lars Doorenbos, Pablo Márquez-Neila+2 more|arXiv (Cornell University)|Aug 25, 2023

Hydrocarbon exploration and reservoir analysisEngineering被引用 3

一句话总结

本文提出 HoroRF，一种超球随机森林分类器，通过使用类球面作为分裂面而非超平面，将随机森林推广至双曲空间。通过结合大间隔分类器以寻找信息量丰富的类球面，并引入超类和类别平衡损失以处理多分类与数据不平衡问题，HoroRF 在层次化和数据不平衡的基准测试中达到最先进性能，优于欧氏空间与现有双曲分类器。

ABSTRACT

Hyperbolic space is becoming a popular choice for representing data due to the hierarchical structure - whether implicit or explicit - of many real-world datasets. Along with it comes a need for algorithms capable of solving fundamental tasks, such as classification, in hyperbolic space. Recently, multiple papers have investigated hyperbolic alternatives to hyperplane-based classifiers, such as logistic regression and SVMs. While effective, these approaches struggle with more complex hierarchical data. We, therefore, propose to generalize the well-known random forests to hyperbolic space. We do this by redefining the notion of a split using horospheres. Since finding the globally optimal split is computationally intractable, we find candidate horospheres through a large-margin classifier. To make hyperbolic random forests work on multi-class data and imbalanced experiments, we furthermore outline a new method for combining classes based on their lowest common ancestor and a class-balanced version of the large-margin loss. Experiments on standard and new benchmarks show that our approach outperforms both conventional random forest algorithms and recent hyperbolic classifiers.

研究动机与目标

• 为解决双曲空间中树形分类器的缺失问题，因双曲空间因其体积呈指数增长而特别适合层次化数据。
• 克服现有双曲分类器（如双曲SVM与逻辑回归）在复杂、层次化与数据不平衡数据集上的局限性。
• 开发一种可扩展且高效的方法，利用类球面作为分裂面，在双曲空间中构建决策树。
• 通过引入新组件——超类与类别平衡损失函数，实现在双曲空间中有效的多分类与类别不平衡学习。

提出的方法

• 在决策树中用类球面作为分裂面替代欧氏空间中的超平面，利用双曲空间的几何特性。
• 使用大间隔二分类器（HoroSplitter）高效搜索高信息增益的类球面，避免不可行的穷举搜索。
• 提出一种超类启发式方法，基于类别的最低共同祖先对类别进行分组，以提升多分类分裂质量。
• 采用大间隔损失的类别平衡版本，以缓解在数据不平衡数据集上的性能下降问题。
• 通过递归应用 HoroSplitter 构建具有类球面分裂的树，从而实现层次化泛化。
• 使用学习到的嵌入与几何运算，支持在双曲空间中端到端的训练与推理。

实验结果

研究问题

• RQ1 能否通过将超平面分裂替换为类球面分裂，有效将随机森林推广至双曲空间？
• RQ2 鉴于穷举搜索在计算上不可行，如何在实践中高效找到类球面分裂？
• RQ3 通过结构化改进，能否提升双曲分类器在多分类与类别不平衡的层次化数据集上的性能？
• RQ4 HoroRF 在标准与新型基准测试中，与欧氏空间及现有双曲分类器相比表现如何？

主要发现

• HoroRF 在层次化与数据不平衡数据集上优于传统随机森林（OblRF）与欧氏SVM，尤其在复杂、非饱和基准如 WordNet 中的 'occupation' 与 'rodent' 任务上表现突出。
• 在 WordNet 子树分类任务中，HoroRF 取得最高宏F1分数，相较于 HoroSVM 提升12.3%，相较于 HypMLR 提升6.7%（'occupation' 子树）。
• 在多分类 WordNet 实验中，HoroRF 超越欧氏与双曲基线模型，在 'solid' 子树上 AUPR 比 OblRF 高9.1%，并在所有三项多分类任务中均优于 HypMLR 与 HoroSVM。
• 消融实验表明，超类启发式与类别平衡损失均显著提升性能，二者结合在 football 数据集上取得最佳结果。
• 将嵌入维度从2提升至10时，大多数 WordNet 子树的 AUPR 接近完美，但 HoroRF 即使在 'tree' 子树中（高维下性能下降）仍保持强劲表现。