[论文解读] (f)RFCDE: Random Forests for Conditional Density Estimation and Functional Data

Taylor Pospisil, Ann B. Lee|arXiv (Cornell University)|Jun 17, 2019

Statistical Methods and Inference参考文献 6被引用 6

一句话总结

该论文提出了(f)RFCDE，一种针对条件密度估计（CDE）和功能数据优化的随机森林方法，通过修改树分裂策略以最小化CDE专用损失函数，相较于标准回归森林，在多模态或异方差设定下以及高分辨率功能协变量下，实现了更高的准确性和计算效率。

ABSTRACT

Random forests is a common non-parametric regression technique which performs well for mixed-type unordered data and irrelevant features, while being robust to monotonic variable transformations. Standard random forests, however, do not efficiently handle functional data and runs into a curse-of dimensionality when presented with high-resolution curves and surfaces. Furthermore, in settings with heteroskedasticity or multimodality, a regression point estimate with standard errors do not fully capture the uncertainty in our predictions. A more informative quantity is the conditional density p(y | x) which describes the full extent of the uncertainty in the response y given covariates x. In this paper we show how random forests can be efficiently leveraged for conditional density estimation, functional covariates, and multiple responses without increasing computational complexity. We provide open-source software for all procedures with R and Python versions that call a common C++ library.

研究动机与目标

• 解决标准随机森林在估计完整条件密度时的局限性，特别是在异方差或多模态情况下的表现。
• 通过将分裂适应于曲线或曲面的定义域而非将其视为高维向量，克服功能数据中的维度灾难问题。
• 实现多个响应变量的联合条件密度估计，将随机森林从点预测扩展至密度估计。
• 通过专为密度估计设计的新损失函数，在保持计算效率的同时提升估计准确性。
• 提供可扩展的开源实现，支持R和Python接口，便于在实际应用中使用。

提出的方法

• 通过最小化CDE专用的$L^2$损失来修改标准随机森林的分裂过程：$L(p,\widehat{p}) = \mathbb{E}_X[\int \widehat{p}^2(y|X) dy] - 2\mathbb{E}_{X,Y}[\widehat{p}(Y|X)] + C_p$，该损失函数考虑了响应变量的完整分布。
• 采用基于树的加权方法：$w_i(x^*, \theta_t) = \mathbbm{1}[X_i \in R(x^*, \theta_t)] / \sum_i \mathbbm{1}[X_i \in R(x^*, \theta_t)]$，并通过对$T$棵树的加权结果形成最终权重$w_i(x^*)$。
• 通过加权核密度估计估计条件密度：$\widehat{p}(y|x^*) = \frac{1}{\sum_i w_i(x^*)} \sum_i w_i(x^*) K_h(Y_i - y)$，带宽通过插值法或验证法选择。
• 对于功能数据，使用参数为$\lambda$的泊松过程对功能域进行划分，然后将每个区间内函数的均值作为树的输入。
• 通过在区间上聚合函数值而非将每个网格点视为独立特征，降低维度并提升计算效率。
• 利用共享的C++库并配合R和Python封装，确保高性能与广泛可及性。

实验结果

研究问题

• RQ1 通过将分裂准则修改为直接优化密度损失，能否有效将随机森林适配于条件密度估计？
• RQ2 所提出的CDE优化损失函数相较于标准回归损失，在捕捉多模态或异方差响应分布方面表现如何？
• RQ3 与将功能协变量视为高维向量的方法相比，通过领域划分建模功能协变量在性能提升和计算成本降低方面有多大优势？
• RQ4 该方法能否在保持可解释性和可扩展性的前提下，联合估计多个响应变量的条件密度？
• RQ5 在CDE损失和计算时间方面，(f)RFCDE相较于现有方法（如quantileRegressionForests和trtf）表现如何？

主要发现

• (f)RFCDE方法在多模态或异方差响应设定下，显著低于标准回归森林的CDE损失。
• 在SDSS提供的功能光谱数据上，功能RFCDE方法的CDE损失降低至-29.623（标准误：0.844），而向量基线方法为-12.578（标准误：0.418）。
• 功能RFCDE模型的训练时间（12.62秒）快于向量基线模型（21.31秒），归因于有效维度降低和更少的分裂搜索。
• 该方法成功捕捉了后验分布中的复杂脊状结构，例如在弱引力透镜参数推断中，其不确定性量化优于点估计方法。
• 开源的RFCDE包支持R和Python接口，可实现对复杂数据类型的可扩展、可解释建模，并提供完整的不确定性量化。
• CDE优化损失函数能够更好地检测分布偏移和非线性依赖关系，而这些特征可能被标准回归损失所忽略。