[论文解读] Comparison-Based Random Forests
本文提出了一种新型随机森林算法——基于比较的随机森林（CompRF），该算法仅通过三元组比较（即判断某一项目更接近第二个还是第三个项目）进行分类与回归，无需显式向量表示或距离值。该方法在欧几里得空间、度量空间以及纯比较设置下均表现出具有竞争力的性能，在效率和准确性上优于基于嵌入的基线方法，并在较弱条件下证明了统计一致性。
Assume we are given a set of items from a general metric space, but we neither have access to the representation of the data nor to the distances between data points. Instead, suppose that we can actively choose a triplet of items (A,B,C) and ask an oracle whether item A is closer to item B or to item C. In this paper, we propose a novel random forest algorithm for regression and classification that relies only on such triplet comparisons. In the theory part of this paper, we establish sufficient conditions for the consistency of such a forest. In a set of comprehensive experiments, we then demonstrate that the proposed random forest is efficient both for classification and regression. In particular, it is even competitive with other methods that have direct access to the metric representation of the data.
研究动机与目标
- 开发一种仅依赖三元组比较的随机森林算法，避免对显式数据表示或距离度量的依赖。
- 解决序数嵌入方法存在的速度慢、数据表示失真等问题。
- 在简化模型下，为基于比较的随机森林建立理论一致性。
- 在欧几里得空间、度量空间以及纯比较设置下，验证CompRF在分类与回归任务中的实证有效性。
提出的方法
- 该方法利用每个节点数据子集中具有相反标签的随机枢轴点构建比较树。
- 在每个节点上，算法仅通过三元组比较查询判断样本点更接近哪一个枢轴点，据此进行数据划分。
- 森林由M棵此类树构成，回归任务中预测结果为所有树预测值的平均，分类任务中则通过多数投票决定。
- 树的构建过程避免了向量空间假设，完全依赖通过查询预言机获得的相对距离比较。
- 该算法在较弱条件下具有理论一致性，理论分析聚焦于树构建过程的简化变体。
- 实际应用中，采用 $ n_0 = 1 $ 和 $ M = 200 $，并在具有已知距离的数据集以及纯比较设置下进行评估。
实验结果
研究问题
- RQ1能否仅通过三元组比较查询训练出一致的随机森林，而无需访问向量表示或距离值？
- RQ2当仅能获取距离信息时，基于比较的随机森林与传统方法（如CART森林）相比性能如何？
- RQ3所提出的方法是否优于先通过序数嵌入将数据映射到欧几里得空间的间接方法？
- RQ4在比较设置下，主动选择的三元组与随机选择的三元组相比有何影响？
- RQ5在大规模、纯比较设置下，该方法能否保持高准确率与低计算成本？
主要发现
- 在距离可用的设置下，CompRF在MUTAG和ENZYMES数据集上的表现优于核SVM，且无需进行核构造。
- 在纯比较设置下，CompRF的分类误差低于或与基于TSTE的嵌入方法相当，尤其在使用相同三元组查询时表现更优。
- 当使用相同的三元组集合时，CompRF始终优于基于嵌入的方法，展现出更高的鲁棒性与效率。
- 该方法显著快于TSTE等序数嵌入技术，后者在大规模数据集上计算成本过高。
- 在所有测试设置——欧几里得空间、度量空间及纯比较空间——中，CompRF均保持了优异性能，显示出广泛适用性。
- 理论分析为算法的简化变体建立了统计一致性，为未来扩展至更真实的树构建过程奠定了基础。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。