[论文解读] A Near-Linear Time Algorithm for the Chamfer Distance

Ainesh Bakshi, Piotr Indyk+3 more|arXiv (Cornell University)|Jul 6, 2023

Data Management and Algorithms被引用 4

一句话总结

该论文提出了首个针对切比雪夫距离估计的 $(1+\varepsilon)$-近似算法，时间复杂度接近线性，为 $\mathcal{O}(nd\log n/\varepsilon^2)$，采用重要性采样与局部敏感哈希（LSH）技术。该方法在大规模、高维数据集上实现了高精度与高速度，同时证明在标准复杂度假设下，报告精确映射可能为次二次时间难题。

ABSTRACT

For any two point sets $A,B \subset \mathbb{R}^d$ of size up to $n$, the Chamfer distance from $A$ to $B$ is defined as $ ext{CH}(A,B)=\sum_{a \in A} \min_{b \in B} d_X(a,b)$, where $d_X$ is the underlying distance measure (e.g., the Euclidean or Manhattan distance). The Chamfer distance is a popular measure of dissimilarity between point clouds, used in many machine learning, computer vision, and graphics applications, and admits a straightforward $O(d n^2)$-time brute force algorithm. Further, the Chamfer distance is often used as a proxy for the more computationally demanding Earth-Mover (Optimal Transport) Distance. However, the \emph{quadratic} dependence on $n$ in the running time makes the naive approach intractable for large datasets. We overcome this bottleneck and present the first $(1+ε)$-approximate algorithm for estimating the Chamfer distance with a near-linear running time. Specifically, our algorithm runs in time $O(nd \log (n)/\varepsilon^2)$ and is implementable. Our experiments demonstrate that it is both accurate and fast on large high-dimensional datasets. We believe that our algorithm will open new avenues for analyzing large high-dimensional point clouds. We also give evidence that if the goal is to \emph{report} a $(1+\varepsilon)$-approximate mapping from $A$ to $B$ (as opposed to just its value), then any sub-quadratic time algorithm is unlikely to exist.

研究动机与目标

• 为克服标准切比雪夫距离计算的二次时间瓶颈，该瓶颈限制了其在大规模点云中的应用。
• 设计一种实用且高效的算法，在接近线性时间内以 $1+\varepsilon$ 因子近似切比雪夫距离。
• 在复杂度理论假设下，证明估计切比雪夫距离远比报告对应映射容易。
• 在真实与合成数据集上评估算法性能，包括Big-ANN-Benchmarks等大规模基准。

提出的方法

• 该算法使用重要性采样，以点 $A$ 中每个点到集合 $B$ 中任意点的最小距离的倒数为采样概率，来估计该最小距离。
• 利用局部敏感哈希（LSH）在 $\ell_1$ 和 $\ell_2$ 范数下高效进行近似最近邻查询。
• 结合随机采样与浓度不等式，确保以 $99\%$ 的高概率实现 $(1+\varepsilon)$-近似。
• 算法通过分层LSH数据结构实现，性能依赖于LSH参数与底层度量。
• 理论分析表明，每个点的期望采样数为 $\mathcal{O}(1/\varepsilon^2)$，总时间复杂度为 $\mathcal{O}(nd\log n/\varepsilon^2)$。
• 基于击中集猜想，推导出条件下界，表明任何报告 $(1+\varepsilon)$-近似映射的算法至少需要 $\Omega(n^{2-\delta})$ 时间。

(a) ShapeNet

实验结果

研究问题

• RQ1 对于大规模、高维点云，是否能在接近线性时间内以 $1+\varepsilon$ 因子近似切比雪夫距离？
• RQ2 是否能够设计一种实用且高效的切比雪夫距离估计算法，使其优于暴力计算与均匀采样？
• RQ3 为何估计切比雪夫距离值远比报告对应近似映射容易？
• RQ4 报告从 $A$ 到 $B$ 的 $(1+\varepsilon)$-近似映射的运行时间理论极限是什么？

主要发现

• 所提算法的时间复杂度为 $\mathcal{O}(nd\log n/\varepsilon^2)$，在 $\ell_1$ 与 $\ell_2$ 范数下，以 $99\%$ 概率实现 $1\pm\varepsilon$ 因子的近似。
• 在Big-ANN-Benchmarks提供的百亿规模数据集上，该算法比优化后的暴力计算方法快达50倍。
• 该算法比暴力计算（即使使用KD-trees）快逾5倍，且在高方差数据集上比均匀采样更高效5至10倍。
• 在ShapeNet数据集上，该算法在最近邻搜索中实现超过 $98\%$ 的召回率@30，与暴力计算相比将搜索空间缩小了1000倍以上。
• 在击中集猜想下，任何报告 $(1+\varepsilon)$-近似映射的算法，其运行时间至少为 $\Omega(n^{2-\delta})$，即使在 $d=\Theta(\log^2 n)$ 且 $\varepsilon=\Theta(1)/d$ 的情况下也成立。
• 该算法能自适应地应对数据集中距离方差的变化，在点 $A$ 到 $B$ 的距离显著变化时，性能优于均匀采样。

(b) Federalist Papers