[논문 리뷰] A Near-Linear Time Algorithm for the Chamfer Distance

Ainesh Bakshi, Piotr Indyk외 3명|arXiv (Cornell University)|2023. 07. 06.

Data Management and Algorithms인용 수 4

한 줄 요약

이 논문은 중요도 샘플링과 국소성에 민감한 해싱(Locality-Sensitive Hashing, LSH)을 사용하여, near-linear 시간 복잡도 $\mathcal{O}(nd\log n/\varepsilon^2)$를 가지는 첫 번째 $(1+\varepsilon)$-근사 알고리즘을 제안한다. 이는 대규모 고차원 데이터셋에서 높은 정확도와 빠른 속도를 달성하며, 표준 복잡도 가정 하에 정확한 매핑을 보고하는 것이 일반적으로 이차 시간보다 어렵다는 것을 증명한다.

ABSTRACT

For any two point sets $A,B \subset \mathbb{R}^d$ of size up to $n$, the Chamfer distance from $A$ to $B$ is defined as $ ext{CH}(A,B)=\sum_{a \in A} \min_{b \in B} d_X(a,b)$, where $d_X$ is the underlying distance measure (e.g., the Euclidean or Manhattan distance). The Chamfer distance is a popular measure of dissimilarity between point clouds, used in many machine learning, computer vision, and graphics applications, and admits a straightforward $O(d n^2)$-time brute force algorithm. Further, the Chamfer distance is often used as a proxy for the more computationally demanding Earth-Mover (Optimal Transport) Distance. However, the \emph{quadratic} dependence on $n$ in the running time makes the naive approach intractable for large datasets. We overcome this bottleneck and present the first $(1+ε)$-approximate algorithm for estimating the Chamfer distance with a near-linear running time. Specifically, our algorithm runs in time $O(nd \log (n)/\varepsilon^2)$ and is implementable. Our experiments demonstrate that it is both accurate and fast on large high-dimensional datasets. We believe that our algorithm will open new avenues for analyzing large high-dimensional point clouds. We also give evidence that if the goal is to \emph{report} a $(1+\varepsilon)$-approximate mapping from $A$ to $B$ (as opposed to just its value), then any sub-quadratic time algorithm is unlikely to exist.

연구 동기 및 목표

• 표준 Chamfer 거리 계산의 이차 시간 복잡도 문제를 해결하여, 대규모 포인트 클라우드에서의 활용을 가능하게 하기 위해.
• near-linear 시간 내에서 Chamfer 거리를 $1+\varepsilon$ 요인 내로 근사하는 실용적이고 효율적인 알고리즘을 설계하기 위해.
• 복잡도 이론적 가정 하에, Chamfer 거리 추정은 해당 매핑을 보고하는 것보다 훨씬 쉽다는 것을 입증하기 위해.
• 실제 및 합성 데이터셋, 특히 Big-ANN-Benchmarks와 같은 대규모 벤치마크에서 알고리즘의 성능을 평가하기 위해.

제안 방법

• 각 점이 집합 $A$에 속할 때, 그 점에서 집합 $B$의 어떤 점으로의 최소 거리를 중요도 샘플링을 통해 추정하며, 샘플링 확률은 기대 최소 거리의 역수 비례로 설정한다.
• LSH를 활용하여 $\ell_1$ 및 $\ell_2$ 노름 하에서 효율적인 근사 최근접 이웃 쿼리 수행한다.
• 확률적 샘플링과 농도 경계를 조합하여, $99\%$ 확률로 $(1+\varepsilon)$-근사를 보장한다.
• 계층적 LSH 데이터 구조를 사용하여 알고리즘을 구현하며, 성능은 LSH 파라미터와 기초 거리 측정법에 따라 달라진다.
• 이론적 분석을 통해 각 점당 기대 샘플 수는 $\mathcal{O}(1/\varepsilon^2)$이며, 이는 총 시간 복잡도 $\mathcal{O}(nd\log n/\varepsilon^2)$로 이어진다.
• Hitting Set 추측을 사용하여 조건부 하한을 도출하였으며, 어떤 알고리즘도 $(1+\varepsilon)$-근사 매핑을 보고하려면 $\Omega(n^{2-\delta})$ 시간이 걸려야 한다고 증명한다.

(a) ShapeNet

실험 결과

연구 질문

• RQ1 대규모 고차원 포인트 클라우드에서 Chamfer 거리를 near-linear 시간 내에 $1+\varepsilon$ 요인 내로 근사할 수 있는가?
• RQ2 Brute-force 및 균일 샘플링보다 뛰어난 성능을 내는 실용적이고 효율적인 Chamfer 거리 추정 알고리즘을 설계할 수 있는가?
• RQ3 왜 Chamfer 거리 값 추정은 해당 근사 매핑을 보고하는 것보다 훨씬 쉽단 말인가?
• RQ4 $(1+\varepsilon)$-근사 매핑을 $A$에서 $B$로 보고하는 데에 가능한 이론적 시간 복잡도의 한계는 무엇인가?

주요 결과

• 제안된 알고리즘은 $\mathcal{O}(nd\log n/\varepsilon^2)$ 시간 내에 작동하며, $\ell_1$ 및 $\ell_2$ 노름에서 $99\%$ 확률로 Chamfer 거리를 $1\pm\varepsilon$ 요인 내로 근사한다.
• Big-ANN-Benchmarks의 빌리언 스케일 데이터셋에서, 최적화된 brute-force 방법보다 최대 50배 빠르게 작동한다.
• Brute-force(심지어 KD-trees를 사용한 경우에도)보다 5배 이상 빠르며, 고분산 데이터셋에서는 균일 샘플링보다 5~10배 더 샘플 효율성이 높다.
• ShapeNet 데이터셋에서, 알고리즘은 nearest neighbor 검색에서 30 이내의 재현율이 98\% 이상을 달성하여, brute-force 대비 검색 공간을 1000배 이상 감소시켰다.
• Hitting Set 추측 하에, 어떤 알고리즘도 $(1+\varepsilon)$-근사 매핑을 보고하려면 $\Omega(n^{2-\delta})$ 시간이 걸려야 하며, 이는 $d=\Theta(\log^2 n)$ 및 $\varepsilon=\Theta(1)/d$ 인 경우에도 마찬가지다.
• 알고리즘이 데이터셋 간 거리 분산에 적응하여, $A$의 점에서 $B$로의 거리가 크게 변동할 경우 균일 샘플링보다 뛰어난 성능을 발휘한다.

(b) Federalist Papers