[论文解读] Feature Hashing for Large Scale Multitask Learning

Kilian Q. Weinberger, Anirban Dasgupta+3 more|arXiv (Cornell University)|Feb 12, 2009

Advanced Image and Video Retrieval Techniques参考文献 11被引用 16

一句话总结

本文提出了一种无偏特征哈希方法，结合指数尾部界，通过将高维稀疏特征压缩到低维空间，实现高效的规模化多任务学习。实验表明，独立哈希子空间之间的干扰可忽略不计，使得数十万任务可实现联合训练，且内存和计算开销极低，该方法在真实世界的垃圾邮件过滤数据上得到验证。

ABSTRACT

Empirical evidence suggests that hashing is an effective strategy for dimensionality reduction and practical nonparametric estimation. In this paper we provide exponential tail bounds for feature hashing and show that the interaction between random subspaces is negligible with high probability. We demonstrate the feasibility of this approach with experimental results for a new use case -- multitask learning with hundreds of thousands of tasks.

研究动机与目标

• 解决在高维特征空间和内存受限条件下训练大规模多任务分类器的挑战。
• 通过建立无偏内积估计的理论依据，为特征哈希在核方法中的经验成功提供理论支持。
• 证明由独立哈希函数诱导的随机子空间之间相互作用极小，从而支持高效多任务学习。
• 展示将特征哈希应用于真实世界协同过滤任务（如个性化垃圾邮件检测）的可行性。

提出的方法

• 提出一种带符号的哈希函数，利用哈希函数 $ h $ 和随机符号函数 $ \xi $，将高维稀疏特征向量映射到低维空间，确保内积估计的无偏性。
• 将哈希特征映射定义为 $ \phi_i(x) = \sum_{j:h(j)=i} \xi(i) x_j $，保留稀疏性并避免存储投影矩阵。
• 建立哈希向量之间内积失真程度的指数尾部界，证明估计内积会紧密集中在真实值附近。
• 通过为每个任务 $ u $ 使用独立的哈希函数 $ \phi_u $，将哈希框架扩展至多任务学习，实现在压缩共享空间中的联合学习。
• 采用全局-局部模型架构，其中全局组件捕捉通用的垃圾邮件模式，局部组件则适应个体用户偏好。
• 将该方法应用于协同电子邮件垃圾邮件过滤任务，用户贡献标注数据，并从个性化分类器中受益。

实验结果

研究问题

• RQ1 特征哈希能否在高维特征空间中提供无偏且稳定的内积近似，并具备强浓度保证？
• RQ2 在包含大量任务的多任务学习设置下，独立哈希子空间之间的干扰行为如何？
• RQ3 特征哈希能否在有限内存和计算约束下实现高效的规模化多任务学习？
• RQ4 基于特征哈希的全局-局部模型在支持数十万用户的协同垃圾邮件过滤任务中，能在多大程度上提升分类性能？

主要发现

• 所提出的哈希核是无偏的，满足 $ \mathbb{E}_\phi[\langle x, x' \rangle_\phi] = \langle x, x' \rangle $，确保对真实内积的一致估计。
• 为哈希内积的失真建立了指数尾部界，表明大偏差发生的概率随非零特征数量呈指数衰减。
• 独立哈希子空间之间的干扰在高概率下可忽略不计，从而支持在数十万任务中实现有效的多任务学习。
• 在协同垃圾邮件过滤中，即使训练数据极少或没有的用户，也能因全局组件的泛化能力而获得个性化收益。
• 该方法在真实世界垃圾邮件数据集上实现了优异的分类性能，且内存使用远低于传统核方法。
• 个性化模型中的全局分类器泛化能力优于纯局部模型，尤其对标注数据极少或没有的用户表现更优。