[论文解读] Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond

Lin Chen, Hossein Esfandiari+2 more|arXiv (Cornell University)|Oct 28, 2019

Face and Expression Recognition被引用 4

一句话总结

该论文提出了用于 f-散度和 Kreĭn 核的局部敏感哈希（LSH）方案，实现了在高维概率空间中的高效近似最近邻搜索。它提出了一种基于 Hellinger 近似的 f-散度通用框架，具有可证明的双向边界，以及一种针对互信息损失的无损归约方法，将其转化为最大内积搜索（MIPS），从而在模型压缩和推荐系统等应用中实现可扩展的相似性搜索。

ABSTRACT

Computing approximate nearest neighbors in high dimensional spaces is a central problem in large-scale data mining with a wide range of applications in machine learning and data science. A popular and effective technique in computing nearest neighbors approximately is the locality-sensitive hashing (LSH) scheme. In this paper, we aim to develop LSH schemes for distance functions that measure the distance between two probability distributions, particularly for f-divergences as well as a generalization to capture mutual information loss. First, we provide a general framework to design LHS schemes for f-divergence distance functions and develop LSH schemes for the generalized Jensen-Shannon divergence and triangular discrimination in this framework. We show a two-sided approximation result for approximation of the generalized Jensen-Shannon divergence by the Hellinger distance, which may be of independent interest. Next, we show a general method of reducing the problem of designing an LSH scheme for a Krein kernel (which can be expressed as the difference of two positive definite kernels) to the problem of maximum inner product search. We exemplify this method by applying it to the mutual information loss, due to its several important applications such as model compression.

研究动机与目标

• 为 f-散度开发一个通用的 LSH 框架，以实现在高维概率分布中的可扩展近似最近邻搜索。
• 解决先前关于 Jensen-Shannon 散度及其相关 f-散度工作中缺乏可证明的近似保证的问题。
• 提供从基于 Kreĭn 核的相似性（例如，互信息损失）到最大内积搜索（MIPS）的无损归约。
• 实现在真实数据集（如 MNIST、Fashion MNIST 和 CIFAR-10）中信息论距离的 LSH 的实际部署。
• 在大规模相似性搜索任务中，展示精度与加速比之间的稳健性能权衡。

提出的方法

• 提出一种通用的归约工具（命题 1），通过利用 Hellinger 距离作为代理，设计 f-散度的 LSH 家族。
• 建立广义 Jensen-Shannon（GJS）散度与 Hellinger 距离之间的双向近似边界，从而提供理论保证。
• 将该框架应用于构建两种特定 f-散度的 LSH 方案：广义 Jensen-Shannon 散度和三角 discrimination。
• 提出一种从基于 Kreĭn 核的相似性（例如，互信息损失）到最大内积搜索（MIPS）的一般性归约，从而可利用现有的 MIPS 优化 LSH 家族。
• 使用基于随机投影的 LSH 实现余弦相似性的 MIPS 组件，通过连接多个哈希函数形成复合哈希函数。
• 采用范数范围划分策略，以缓解在高维空间中 $ \text{sign}(\bfx^\top \bfa) $- 基哈希函数导致的性能下降。

实验结果

研究问题

• RQ1 我们能否为 f-散度设计一个具有可证明近似保证的 LSH 方案，特别是针对广义 Jensen-Shannon 散度？
• RQ2 Hellinger 距离对广义 Jensen-Shannon 散度的近似效果如何？该近似的紧致边界是什么？
• RQ3 我们能否以理论上无损的方式将 Kreĭn 核的 LSH 问题归约为最大内积搜索（MIPS）？
• RQ4 在真实世界图像数据集上，所提出的用于互信息损失的 LSH 方案在精度和加速比方面表现如何？
• RQ5 在使用该方法进行大规模近似最近邻搜索时，计算效率（加速比）与检索质量（精度）之间的权衡如何？

主要发现

• 广义 Jensen-Shannon 散度被 Hellinger 距离紧密地双向近似，实证验证表明在不同 λ 值（1/2、1/3、1/10）下，Reuters-21578 主题分布上的上下界均非常紧。
• 在 Fashion MNIST、MNIST 和 CIFAR-10 上，基于 LSH 的 k-NN 搜索在使用 K=3 和 L=40 个哈希函数时，实现了高达 10 倍的加速比，且精度保持在 0.8 以上。
• 将连接的哈希函数数量 K 从 3 增加到 5 可在保持目标精度的前提下提升效率，表明在固定精度水平下，更高的 K 值可带来更好的性能。
• 该方法在广义 Jensen-Shannon 散度的不同 λ 值下表现出稳健性能，精度无显著下降，表明对参数选择具有稳定性。
• 通过 MIPS 归约实现的互信息损失 LSH 方案在理论上是无损的，可在模型压缩和推荐系统等应用中实现高效的相似性搜索。
• 范数范围划分策略有效缓解了 $ \text{sign}(\bfx^\top \bfa) $- 基哈希函数在高维空间中（尤其是当 $ \norm{\bfx}_2 $ 较大时）导致的性能下降。