[论文解读] Categorical Feature Compression via Submodular Optimization

MohammadHossein Bateni, Lin Chen+4 more|arXiv (Cornell University)|Apr 30, 2019

Complexity and Algorithms in Graphs被引用 6

一句话总结

该论文提出了一种可扩展的、分布式的分类特征压缩算法，通过子模优化最大化与二值标签的互信息。该方法保证了最优解的 (1−1/e)≈63% 近似，具有 O(n log n) 的串行运行时间以及对数轮次的分布式实现，在保留互信息和 Criteo 数据集上的学习性能方面优于启发式方法。

ABSTRACT

In the era of big data, learning from categorical features with very large vocabularies (e.g., 28 million for the Criteo click prediction dataset) has become a practical challenge for machine learning researchers and practitioners. We design a highly-scalable vocabulary compression algorithm that seeks to maximize the mutual information between the compressed categorical feature and the target binary labels and we furthermore show that its solution is guaranteed to be within a $1-1/e \approx 63\%$ factor of the global optimal solution. To achieve this, we introduce a novel re-parametrization of the mutual information objective, which we prove is submodular, and design a data structure to query the submodular function in amortized $O(\log n )$ time (where $n$ is the input vocabulary size). Our complete algorithm is shown to operate in $O(n \log n )$ time. Additionally, we design a distributed implementation in which the query data structure is decomposed across $O(k)$ machines such that each machine only requires $O(\frac n k)$ space, while still preserving the approximation guarantee and using only logarithmic rounds of computation. We also provide analysis of simple alternative heuristic compression methods to demonstrate they cannot achieve any approximation guarantee. Using the large-scale Criteo learning task, we demonstrate better performance in retaining mutual information and also verify competitive learning performance compared to other baseline methods.

研究动机与目标

• 为解决在极端大规模词汇表（如 Criteo 点击预测数据集中 2800 万唯一值）的分类特征上训练机器学习模型的挑战。
• 设计一种可扩展且分布式的算法，用于词汇压缩，以最大化压缩特征与二值标签之间的互信息。
• 为压缩质量提供理论近似保证，确保解在全局最优解的 1−1/e ≈ 63% 以内。
• 证明基于频率或分桶的启发式方法缺乏此类保证，并且在实际中表现较差。
• 在真实世界数据集上验证该方法在互信息保留和端到端学习性能方面的有效性。

提出的方法

• 通过一种新颖的重参数化方法，将互信息最大化目标重新表述为子模函数，从而实现理论近似保证。
• 设计一种支持分摊 O(log n) 时间查询的数据库结构，以支持子模函数的高效优化。
• 使用目前已知最快的子模最大化算法（如 Badanidiyuru 和 Vondrák, 2014），在 O(n log n) 时间内实现 (1−1/e−ε) 近似。
• 通过将查询预言机分解到 O(k) 台机器上实现分布式版本，每台机器仅存储 O(n/k) 空间，同时保持近似保证。
• 通过排名边际贡献，实现多个分类特征之间的全局词汇预算分配，选择得分最高的值。
• 将该方法集成到端到端学习流程中，通过神经网络模型的对数损失比较性能。

实验结果

研究问题

• RQ1 能否设计一种可扩展的算法，用于分类特征压缩，以在保证最优解常数因子近似（即 (1−1/e)≈63%）的前提下，最大化与二值标签的互信息？
• RQ2 经过适当的重参数化后，互信息目标是否适合子模优化？这是否能带来高效算法？
• RQ3 子模预言机能否以分摊对数时间高效查询，从而实现近线性时间的串行与分布式计算？
• RQ4 在互信息保留和学习性能方面，该方法与基于频率或分桶的启发式基线相比，实证表现如何？
• RQ5 该算法能否在不牺牲近似质量或无需完整数据复制的前提下，有效扩展并分布到多台机器上？

主要发现

• 在 Criteo 数据集上，所提出的 Submodular 算法在 160K 词汇量下仅造成 3×10−9 的互信息损失，显著优于基于频率的启发式方法（在 10K 词汇量下损失高达 0.654）。
• Submodular 方法在所有测试的预算大小下均保持接近最优的互信息，损失低于 10−6，而 Divisive 方法即使使用最优分配策略，损失也更高。
• 分布式实现保持了与串行版本相同的 (1−1/e−ε) 近似保证，每台机器仅使用 O(n/k) 空间，并且通信轮次为对数级。
• 在端到端学习中，Submodular 压缩模型的对数损失与其它基于互信息的方法相当，且显著优于基于频率的启发式方法，表明其在实践中具有竞争力。
• 基于频率、分桶和 Divisive 的启发式方法均无法提供任何理论近似保证，且在保留与标签相关的信息方面实证表现较差。
• 该算法可扩展至大规模词汇表（如 2800 万值），实现 O(n log n) 时间复杂度，使其适用于真实世界工业级机器学习系统。