[论文解读] Fully Understanding the Hashing Trick

Casper Benjamin Freksen, Lior Kamma+1 more|arXiv (Cornell University)|May 22, 2018

Face and Expression Recognition被引用 10

一句话总结

本文对特征哈希中的哈希技巧提供了紧致的渐近分析，确立了输入向量的 ℓ∞/ℓ2 比值、目标维度 m 和误差参数 ε、δ 之间的精确权衡。证明了当 m ≥ 2/(ε²δ) 时，特征哈希以至少 1−δ 的概率保持 ℓ2 范数，相对误差不超过 ε，并通过实证表明渐近界中的隐藏常数接近 1，证实了理论紧致性在实际中的成立。

ABSTRACT

Feature hashing, also known as {\em the hashing trick}, introduced by Weinberger et al. (2009), is one of the key techniques used in scaling-up machine learning algorithms. Loosely speaking, feature hashing uses a random sparse projection matrix $A : \mathbb{R}^n o \mathbb{R}^m$ (where $m \ll n$) in order to reduce the dimension of the data from $n$ to $m$ while approximately preserving the Euclidean norm. Every column of $A$ contains exactly one non-zero entry, equals to either $-1$ or $1$. Weinberger et al. showed tail bounds on $\|Ax\|_2^2$. Specifically they showed that for every $\varepsilon, δ$, if $\|x\|_{\infty} / \|x\|_2$ is sufficiently small, and $m$ is sufficiently large, then $$\Pr[ \; | \;\|Ax\|_2^2 - \|x\|_2^2\; | < \varepsilon \|x\|_2^2 \;] \ge 1 - δ\;.$$ These bounds were later extended by Dasgupta \etal (2010) and most recently refined by Dahlgaard et al. (2017), however, the true nature of the performance of this key technique, and specifically the correct tradeoff between the pivotal parameters $\|x\|_{\infty} / \|x\|_2, m, \varepsilon, δ$ remained an open question. We settle this question by giving tight asymptotic bounds on the exact tradeoff between the central parameters, thus providing a complete understanding of the performance of feature hashing. We complement the asymptotic bound with empirical data, which shows that the constants "hiding" in the asymptotic notation are, in fact, very close to $1$, thus further illustrating the tightness of the presented bounds in practice.

研究动机与目标

• 为长期悬而未决的特征哈希中 ℓ∞/ℓ2 比值、目标维度 m 和误差参数 ε、δ 之间的精确权衡问题提供解答。
• 对特征哈希的性能极限进行完整且紧致的刻画，解决先前的渐近界问题。
• 通过广泛的实证评估验证理论边界，表明渐近记号中的隐藏常数在真实世界场景中接近 1。
• 证明当输入向量的质量分布良好（即 ℓ∞/ℓ2 比值较低）时，特征哈希在实践中优于更密集的方法，达到最优性能。

提出的方法

• 提出一种新的理论框架，推导特征哈希矩阵 A 的 ‖Ax‖₂² 在 ‖x‖₂² 附近的集中性紧致渐近界。
• 通过将投影后向量的 ℓ2 范数分布建模为独立、有界的随机变量之和，分析特征哈希的性能。
• 采用三阶段实证评估：(1) 生成具有受控 ℓ∞/ℓ2 比值的随机向量，(2) 固定 m 和 ε 时测量失败概率 δ，(3) 估计在 δ 低于目标值时允许的最大 ℓ∞/ℓ2 比值 ν(m, ε, δ)。
• 通过将实测 ν 值与理论预测值对比，实证估计理论边界中隐藏常数。
• 采用双表查找哈希（double tabulation hashing）实现高效且统计强度强的随机投影，确保理论保证所需的随机性。
• 使用高质量随机数生成器（梅森素数模数）以确保实验间的可重现性和统计独立性。

实验结果

研究问题

• RQ1 在特征哈希中，输入向量的 ℓ∞/ℓ2 比值、目标维度 m 和误差参数 ε、δ 之间的精确渐近权衡是什么？
• RQ2 理论边界 m ≥ 2/(ε²δ) 是否紧致，以确保 ‖Ax‖₂² ∈ [(1−ε)‖x‖₂², (1+ε)‖x‖₂²] 的概率至少为 1−δ？
• RQ3 在实际场景中，特别是针对特征分布良好的真实世界机器学习数据，渐近界中的隐藏常数有多接近 1？
• RQ4 理论边界最小值表达式中的两项是否都必要，还是在实践中总有一项占主导？

主要发现

• 本文证明 m ≥ 2/(ε²δ) 是特征哈希在以至少 1−δ 的概率将 ℓ2 范数保持在 ε 相对误差范围内的必要且充分条件。
• 实证评估表明，理论边界中 Θ-记号的隐藏常数在大多数实际参数范围内至少为 0.725，部分稀疏向量的异常值为 0.6。
• 该边界是紧致的：当 m < 2/(ε²δ) 时，存在向量使得 ‖Ax‖₂² 与 ‖x‖₂² 的偏差超过 ε‖x‖₂²，证实该阈值的必要性。
• 实证表明理论最小值表达式中的两项均不可或缺，因为任一单独项均无法在所有参数范围内有效约束 ℓ∞/ℓ2 比值。
• 实测失败概率 δ 与理论预测值高度一致，实测 ν(m, ε, δ) 值在广泛的 ε 和 δ 范围内与理论边界紧密对齐。
• 对于 ℓ∞/ℓ2 比值 ≤ 1 的向量，即使 m 显著小于 Johnson-Lindenstrauss 边界，特征哈希也能以高概率实现范数保持，证明其在分布良好的设置中具有实际优越性。