[논문 리뷰] Improved Approximation Algorithms for Earth-Mover Distance in Data Streams

Arman Yousefi, Rafail Ostrovsky|arXiv (Cornell University)|2014. 04. 24.

Data Management and Algorithms참고 문헌 18인용 수 4

한 줄 요약

이 논문은 2차원 이산 격자 $[\Delta]^2$ 상에서 두 다중집합 간의 Earth-Mover Distance (EMD)를 근사하기 위한 두 가지 스트리밍 알고리즘을 제안한다. 여기서 한 집합은 $k = \log^{O(1)}(\Delta n)$개의 고유한 점만을 가진다. 첫 번째 알고리즘은 삽입 전용 모델에서 $O(k\epsilon^{-2}\log^4 n)$ 공간을 사용하여 $(1+\epsilon)$-근사치를 달성한다. 두 번째 알고리즘은 전복 모델에서 $O(\min(k^3, \log\Delta))$-근사치를 $O(\log^3\Delta \cdot \log\log\Delta \cdot \log n)$ 공간으로 제공하며, 계층적 격자 분해와 $\ell_1$ 스케치 기법을 활용한다.

ABSTRACT

For two multisets $S$ and $T$ of points in $[Δ]^2$, such that $|S| = |T|= n$, the earth-mover distance (EMD) between $S$ and $T$ is the minimum cost of a perfect bipartite matching with edges between points in $S$ and $T$, i.e., $EMD(S,T) = \min_{π:S ightarrow T}\sum_{a\in S}||a-π(a)||_1$, where $π$ ranges over all one-to-one mappings. The sketching complexity of approximating earth-mover distance in the two-dimensional grid is mentioned as one of the open problems in the literature. We give two algorithms for computing EMD between two multi-sets when the number of distinct points in one set is a small value $k=\log^{O(1)}(Δn)$. Our first algorithm gives a $(1+ε)$-approximation using $O(kε^{-2}\log^{4}n)$ space and works only in the insertion-only model. The second algorithm gives a $O(\min(k^3,\logΔ))$-approximation using $O(\log^{3}Δ\cdot\log\logΔ\cdot\log n)$-space in the turnstile model.

연구 동기 및 목표

• 데이터 스트림 제약 조건 하에서 2D 격자에서 EMD 스케치 복잡도에 대한 열린 문제를 해결하기 위해.
• 입력 집합 중 하나가 소수의 고유한 점만을 가질 경우, 부분선형 공간에서 EMD를 근사하는 효율적인 스트리밍 알고리즘을 설계하기 위해.
• 삽입 전용 및 전복 데이터 스트림 모델 양쪽 모두에서 이전 연구보다 더 나은 근사 비율을 달성하기 위해.
• 계층적 격자 분해와 $\ell_1$ 임bedding 기법을 사용하여 근사 품질에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 알고리즘은 셀 크기가 점점 커지는 수준으로 구성된 $[\Delta]^2$ 격자의 계층적 분해를 사용하며, 각 수준은 다양한 스케일에서 일치 비용을 포괄한다.
• 각 수준 $i$에서 알고리즘은 $C_i = \min_j \|V_{G^j_i}(S) - V_{G^j_i}(T)\|_1$를 계산하며, 이는 격자 셀 내의 점 수의 $\ell_1$ 차이를 나타낸다.
• 하나의 최적 일치 간선을 그 간선의 $\ell_1$ 노름 이하인 셀 크기의 수준에 할당함으로써 하한을 설정한다. 이는 경로 분해 추론을 통해 $C_i$와 간선 수의 관계를 유도한다.
• 최종 추정치는 $Y = \frac{1}{2}\sum_i 2^i \cdot C_i$로 유도되며, 이는 진짜 EMD와 $O(k^2)$ 이내임을 증명한다.
• 전복 모델에서는 알고리즘에서 계층적 추정치를 인디크(Indyk, 2007)의 $O(\log\Delta)$-근사치와 조합하여 두 추정치 중 최소값을 반환한다.
• 무작위 샘플링과 $\ell_1$ 스케치를 사용함으로써 $\ell_1$ 차이 추정에 대해 $O(\log^3\Delta \cdot \log\log\Delta \cdot \log n)$ 공간만 유지한다.

실험 결과

연구 질문

• RQ1 입력 집합 중 하나가 소수의 고유한 점만을 가질 경우, 삽입 전용 모델에서 다항로그 공간으로 2D 격자에서 EMD에 대해 $(1+\epsilon)$-근사치를 달성할 수 있는가?
• RQ2 고유한 점의 수가 제한된 경우, 다항로그 공간으로 전복 모델에서 EMD에 대해 달성 가능한 최고의 근사 비율은 무엇인가?
• RQ3 계층적 격자 분해와 $\ell_1$ 스케치를 조합하여 스트리밍 환경에서 강력한 근사 보장을 얻을 수 있는가?
• RQ4 여러 근사 전략을 조합하여 더 나은 종합 근사 비율을 달성할 수 있는가?

주요 결과

• 첫 번째 알고리즘은 삽입 전용 모델에서 $O(k\epsilon^{-2}\log^4 n)$ 공간을 사용하여 EMD에 대해 $(1+\epsilon)$-근사치를 달성한다. 여기서 $k$는 한 집합의 고유한 점의 수이다.
• 두 번째 알고리즘은 전복 모델에서 $O(\log^3\Delta \cdot \log\log\Delta \cdot \log n)$ 공간을 사용하여 $O(\min(k^3, \log\Delta))$-근사치를 제공한다.
• 분석을 통해 계층적 추정치 $Y = \frac{1}{2}\sum_i 2^i C_i$가 진짜 EMD와 $O(k^2)$ 이내임을 증명하였으며, 이는 스케치 기법과 조합될 경우 $O(k^3)$-근사치로 이어진다.
• 알고리즘은 계층적 $Y$ 추정치를 이전 연구에서의 $O(\log\Delta)$-근사치와 조합하여 최종 추정치가 진짜 EMD와 $O(\min(k^3, \log\Delta))$ 이내임을 보장한다.
• 결과적으로 $Y$가 진짜 EMD의 $\Omega(1/k^2)$ 이상임을 보여주는 하한이 확립되었으며, 이는 근사 보장에 핵심적이다.
• 결과적으로, 입력 중 하나가 소수의 고유한 점만을 가질 경우 다항로그 공간이 비트리비얼한 EMD 근사에 충분함을 보여주며, 스트리밍 EMD 계산 분야에서 최신 기술을 발전시킨다.