[论文解读] Grouped variable importance with random forests and application to multiple functional data analysis

Baptiste Gregorutti, Bertrand Michel+1 more|HAL (Le Centre pour la Communication Scientifique Directe)|Nov 15, 2014

Statistical Methods and Inference被引用 12

一句话总结

本文提出了一种针对函数数据分析的分组变量重要性度量方法，专为随机森林设计，通过将小波系数分组实现对整个函数变量的选择。该方法应用于航空安全数据，通过高效的分组特征选择，在加法模型中具有理论依据，显著提升了着陆距离预测的准确性。

ABSTRACT

The selection of grouped variables using the random forest algorithm is considered. First a new importance measure adapted for groups of variables is proposed. Theoretical insights into this criterion are given for additive regression models. Second, an original method for selecting functional variables based on the grouped variable importance measure is developed. Using a wavelet basis, it is proposed to regroup all of the wavelet coefficients for a given functional variable and use a wrapper selection algorithm with these groups. Various other groupings which take advantage of the frequency and time localization of the wavelet basis are proposed. An extensive simulation study is performed to illustrate the use of the grouped importance measure in this context. The method is applied to a real life problem coming from aviation safety.

研究动机与目标

• 开发一种新的随机森林分组变量重要性度量方法，以考虑变量分组的先验知识。
• 解决在多重函数数据分析（FDA）中选择函数预测变量的挑战，其中预测变量是随时间变化的曲线。
• 通过选择整个函数变量而非单个系数，提升预测准确率与模型可解释性。
• 将该方法应用于真实世界的航空安全数据，具体为基于飞行参数预测着陆距离。
• 为加法回归模型下分组重要性度量提供理论洞察。

提出的方法

• 提出一种分组置换重要性度量方法，评估在随机森林中移除整个变量组（如某个函数变量的所有小波系数）对袋外误差的影响。
• 使用小波基分解表示函数预测变量，通过函数变量或频率/时间局部化实现系数的自然分组。
• 应用基于分组重要性的包装式递归特征消除（RFE）算法，按顺序移除重要性最低的组。
• 提出一种基于卡方偏差界的小波系数硬阈值规则，旨在以高概率恢复真实信号支持。
• 对Donoho和Johnstone的小波去噪软阈值法进行改进，采用MAD估计噪声水平（σ）并实现自适应阈值化。
• 采用潜变量模型以推广函数回归框架，允许在不同条件下存在异质性信号结构。

实验结果

研究问题

• RQ1 在随机森林中，如何有意义地将变量重要性扩展至变量组，特别是当变量天然分组时（如函数预测变量的小波系数）？
• RQ2 该分组重要性度量在加法回归模型中具有哪些理论性质？
• RQ3 与单独选择系数相比，分组变量重要性是否能提升多重函数数据分析中的特征选择与预测准确率？
• RQ4 所提出方法在识别影响着陆距离的飞行参数方面效果如何，特别是在航空安全应用中？
• RQ5 基于小波的分组方式（如按层级或时频局部化）是否能提升随机森林在函数数据场景下的性能？

主要发现

• 该分组变量重要性度量不退化为个体重要性之和，且在非加法模型中可能显著不同。
• 在加法回归模型中，本文推导出分组重要性的精确分解，为该度量的使用提供了理论依据。
• 通过设定阈值规则，当 x = 2 log(N) 时，该方法以 O(1/N) 的概率界实现对真实信号支持的高恢复概率。
• 模拟研究证实，与单独选择系数相比，基于分组的选择在预测准确率与稳定性方面表现更优。
• 在真实航空安全应用中，该方法成功识别出影响着陆距离的关键飞行参数，展现出实际应用价值。
• 当 δ²_{N,n} = σ²(4 log(N) + 2√(2n log(N)) + n) 时，该阈值规则可将虚假检测零信号的概率控制在 O(1/N) 以内，支持一致性的信号恢复。