[论文解读] Distributed Feature Screening via Componentwise Debiasing

Xingxiang Li, Runze Li+2 more|arXiv (Cornell University)|Mar 9, 2019

Face and Expression Recognition参考文献 15被引用 27

一句话总结

本文提出了一种名为聚合相关性筛选（Aggregated Correlation Screening, ACS）的分布式特征筛选框架，通过将相关性度量分解为可在数据段上独立估计的分量参数，利用U-统计量进行估计，从而实现对高维大数据的高效、可扩展的特征选择。该方法在统计效率上可与集中式估计相媲美，其收敛速率不受数据段数量的影响，并在温和条件下保证了充分筛选性质。

ABSTRACT

Feature screening is a powerful tool in the analysis of high dimensional data. When the sample size $N$ and the number of features $p$ are both large, the implementation of classic screening methods can be numerically challenging. In this paper, we propose a distributed screening framework for big data setup. In the spirit of "divide-and-conquer", the proposed framework expresses a correlation measure as a function of several component parameters, each of which can be distributively estimated using a natural U-statistic from data segments. With the component estimates aggregated, we obtain a final correlation estimate that can be readily used for screening features. This framework enables distributed storage and parallel computing and thus is computationally attractive. Due to the unbiased distributive estimation of the component parameters, the final aggregated estimate achieves a high accuracy that is insensitive to the number of data segments $m$ specified by the problem itself or to be chosen by users. Under mild conditions, we show that the aggregated correlation estimator is as efficient as the classic centralized estimator in terms of the probability convergence bound; the corresponding screening procedure enjoys sure screening property for a wide range of correlation measures. The promising performances of the new method are supported by extensive numerical examples.

研究动机与目标

• 解决当样本量N和特征数量p均较大时，经典特征筛选方法计算效率低下的问题。
• 开发一种分布式框架，支持大数据特征筛选的并行处理与可扩展存储。
• 确保聚合相关性估计量在任意数据段数量下，统计效率均与集中式估计相当。
• 在温和的正则性条件下，为充分筛选性质提供理论保证。
• 为具有海量数据集或分布式数据源的高维数据分析场景，提供计算上具有吸引力的解决方案。

提出的方法

• 将相关性度量分解为可独立从数据段中估计的分量参数。
• 利用U-统计量在m个数据段上获得各分量参数的无偏、分布式估计。
• 通过聚合分量估计值，形成一个渐近等价于集中式估计量的最终相关性估计量。
• 通过U-统计量实施分量去偏，以校正数据分割带来的估计偏差。
• 利用聚合分量估计值的函数构建最终的筛选统计量，实现模型无关且稳健的筛选。
• 采用分而治之策略，将计算任务分发至多台机器，支持分布式存储与并行处理。

实验结果

研究问题

• RQ1 在高维大数据场景下，分布式特征筛选框架能否实现与集中式估计相当的统计效率？
• RQ2 数据段数量m对聚合相关性估计量的准确性和收敛性有何影响？
• RQ3 在温和正则性条件下，该方法是否能对一大类相关性度量保持充分筛选性质？
• RQ4 该框架能否处理天然分布在多个数据源或存储系统中的数据？
• RQ5 针对筛选过程的收敛速率与选择一致性，可建立哪些理论保证？

主要发现

• 聚合相关性估计量的渐近概率收敛界与经典集中式估计量相同，确保了完全的统计效率。
• 估计量的收敛速率对数据段数量m不敏感，m可自由选择或由系统约束决定。
• 该方法对包括距离相关性、Kendall’s tau以及分布函数在内的广泛相关性度量，均能保证充分筛选性质。
• 数值实验表明其具有出色的实证性能，显著降低了大规模数据集上的计算时间（例如，DC-SIS的60小时计算时间被ACS缩短至数分钟）。
• 理论分析表明，即使在分布式计算条件下，遗漏真实信号的概率仍会随样本量呈指数级衰减。
• 该框架支持模型无关筛选，对极端值和复杂数据结构具有鲁棒性，经大量模拟实验验证。