[论文解读] BELIEF: A distance-based redundancy-proof feature selection method for Big Data

Sergio Ramírez‐Gallego, Salvador García+2 more|arXiv (Cornell University)|Apr 16, 2018

Machine Learning and Data Classification被引用 5

一句话总结

BELIEF 是一种用于大规模数据的分布式、基于距离的特征加权算法，通过利用特征共现来近似估算特征间依赖关系，实现近乎零计算成本的互依赖性估计，从而提升可扩展性并去除冗余。在包含最多 1000 万个实例和 10,000 个特征的数据集上，BELIEF 在运行时效率和特征选择精度方面均优于现有方法（如 DiReliefF 和 DmRMR），尤其在低采样率下表现优异。

ABSTRACT

With the advent of Big Data era, data reduction methods are highly demanded given its ability to simplify huge data, and ease complex learning processes. Concretely, algorithms that are able to filter relevant dimensions from a set of millions are of huge importance. Although effective, these techniques suffer from the "scalability" curse as well. In this work, we propose a distributed feature weighting algorithm, which is able to rank millions of features in parallel using large samples. This method, inspired by the well-known RELIEF algorithm, introduces a novel redundancy elimination measure that provides similar schemes to those based on entropy at a much lower cost. It also allows smooth scale up when more instances are demanded in feature estimations. Empirical tests performed on our method show its estimation ability in manifold huge sets --both in number of features and instances--, as well as its simplified runtime cost (specially, at the redundancy detection step).

研究动机与目标

• 解决大规模机器学习库（如 Apache Spark 的 MLlib）中缺乏可扩展、具备冗余感知能力的特征加权算法的问题。
• 克服传统特征选择方法（如 RELIEF）在处理包含数百万个特征和实例的大数据时的可扩展性限制。
• 设计一种分布式特征加权算法，通过将估计方式从基于实例转换为基于分区，以最小化网络 I/O 和计算开销。
• 引入一种内置的冗余消除机制，利用特征距离和共现关系高效检测并移除冗余特征。
• 在极低采样率（例如 1%）下实现高精度特征选择，同时保持低运行时成本和强可扩展性。

提出的方法

• 提出一种基于 Apache Spark 的 RELIEF 算法的分布式版本，命名为 BELIEF，以支持大规模数据的并行处理。
• 通过将通信限制在本地分区内，优化邻居发现过程，减少网络开销并提升可扩展性。
• 将基于实例的特征权重估计替换为基于分区的聚合，降低计算成本，并支持动态扩展。
• 提出一种基于特征共现的新型冗余检测机制（mCR），利用权重估计过程中计算的距离，识别并移除冗余特征。
• 利用基于距离的共现模式，以显著更低的计算成本近似信息论冗余度量。
• 支持可变采样率，使在仅使用全数据集 1% 的情况下仍能实现准确的特征加权，并在多种数据规模下验证性能。

实验结果

研究问题

• RQ1 分布式特征加权算法是否能在包含数百万个特征和实例的大数据上实现高精度和低运行时成本？
• RQ2 基于特征共现的冗余消除机制在精度和效率方面与基于熵的方法相比如何？
• RQ3 在大规模环境中，为保持高特征选择精度同时最小化计算成本，最优采样率是多少？
• RQ4 BELIEF 在精度和速度方面相较于现有分布式特征选择方法（如 DiReliefF 和 DmRMR）的优越程度如何？
• RQ5 随着数据量增加，该算法是否能有效扩展，而不会导致运行时间或通信开销成比例增长？

主要发现

• 在仅采样 1% 数据的情况下，BELIEF 仍能实现稳定且较高的 F1 分数（最高达 0.95），表明其在低采样率下具备强大鲁棒性和准确性。
• 在 1% 采样率下，BELIEF 相较于 DmRMR 将运行时间最多减少 70%，同时保持或提升特征选择精度。
• mCR 冗余检测机制生成的特征选择方案在质量上几乎等同于最先进的信息论方法，但计算成本显著更低。
• 在包含最多 1000 万个实例和 10,000 个特征的数据集上进行的实验，证实了 BELIEF 在多种数据类型和密度下的可扩展性与一致性能。
• 过低的采样率（例如仅 100 个实例）会导致 F1 分数显著下降，证实了可靠估计对足够采样量的依赖性。
• 在低采样和高维场景下，BELIEF 在运行时和精度方面均优于 DiReliefF 和 DmRMR。