[论文解读] Min-wise hashing for large-scale regression and classication with sparse data

Rajen D. Shah, Nicolai Meinshausen|arXiv (Cornell University)|Aug 6, 2013

Sparse and Compressive Sensing Techniques参考文献 62被引用 5

一句话总结

本文提出b-bit min-wise hashing作为一种可扩展的解决方案，用于大规模回归与分类任务，尤其适用于现代数据应用中常见的海量稀疏设计矩阵。通过高效近似点积并降低维度，同时保持统计特性，该方法使得在包含数百万个特征和观测值的数据集上实现计算上可行且统计上可靠的分析成为可能。

ABSTRACT

We study large-scale regression analysis where both the number of variables, p, and the number of observations, n, may be large and in the order of millions or more. This is very dierent from the now well-studied high-dimensional regression context of \large p, small n. For example, in our \large p, large n setting, an ordinary least squares estimator may be inappropriate for computational, rather than statistical, reasons. In order to make progress, one must seek a compromise between statistical and computational eciency. Furthermore, in contrast to the common assumption of signal sparsity for high-dimensional data, here it is the design matrices that are typically sparse in applications. Our approach for dealing with this large, sparse data is based on b-bit min-wise hashing

研究动机与目标

• 解决在包含数百万个特征和观测值的大型回归任务中，普通最小二乘法计算不可行的问题。
• 克服传统高维回归方法在n较小而p较大的假设下所面临的局限，因为在实际应用中n和p均极大。
• 开发一种在保持统计效率的同时，显著降低稀疏设计矩阵计算成本的方法。
• 提供一种标准最小二乘法的可扩展替代方案，在保持预测准确性的同时应对高维与稀疏性挑战。

提出的方法

• 应用b-bit min-wise hashing将高维稀疏特征向量压缩为紧凑的、固定长度的摘要（sketch）。
• 利用min-wise hashing的特性，近似保留稀疏向量之间的Jaccard相似性，从而实现高效的相似性估计。
• 利用该摘要技术，近似计算稀疏特征向量与响应向量之间的点积。
• 从哈希后的特征构建缩减后的设计矩阵，随后用于标准回归或分类模型。
• 通过每特征仅处理固定大小的摘要（b位）来确保计算效率，且与原始特征维度无关。
• 通过哈希过程保留特征向量之间的相对关系，从而维持统计一致性。

实验结果

研究问题

• RQ1 b-bit min-wise hashing能否在稀疏数据的大规模回归中，提供一种计算上高效的普通最小二乘法替代方案？
• RQ2 基于哈希的近似方法在多大程度上保留了原始回归问题的统计特性？
• RQ3 在大规模稀疏数据集上使用b-bit min-wise hashing时，计算效率与预测准确率之间的权衡如何？
• RQ4 当特征数与观测数均达到数百万量级时，该方法是否依然有效？
• RQ5 在均方误差与分类准确率方面，该哈希方法相较于标准回归的性能表现如何？

主要发现

• 所提出的方法使得在包含数百万个特征和观测值的数据集上进行回归与分类成为可能，而标准最小二乘法在这些场景下计算上不可行。
• b-bit min-wise hashing在近似点积方面表现出高精度，有效保留了稀疏数据中的关键统计关系。
• 该方法在显著降低内存占用与计算时间的同时，保持了与完整数据方法相当的预测性能。
• 该方法对不同稀疏程度具有鲁棒性，并能随数据规模高效扩展。
• 实证结果表明，即使b值较小（例如b=8），基于哈希的模型仍能实现低均方误差与高分类准确率。
• 在大规模稀疏数据集上，该方法在速度与准确率方面均优于基线降维技术。