[논문 리뷰] Geometric Median in Nearly Linear Time

Michael B. Cohen, Yin Tat Lee외 3명|arXiv (Cornell University)|2016. 06. 16.

Computational Geometry and Mesh Generation참고 문헌 3인용 수 10

한 줄 요약

이 논문은 기하 중앙값을 $(1+\epsilon)$-근사로 계산하기 위한 새로운 거의 선형 시간 알고리즘을 제안한다. 이는 $\mathbb{R}^d$에서 맞춤형 장거리 내부점 방법을 사용하며, $O(nd\log^3 \frac{1}{\epsilon})$의 시간 복잡도를 달성한다. 또한 스트로스틱 서브기울기 강하를 통해 $O(d\epsilon^{-2})$의 더 빠른 알고리즘도 제공하며, 이는 이전의 초선형 시간 방법들보다 크게 향상되었다.

ABSTRACT

In this paper we provide faster algorithms for solving the geometric median problem: given $n$ points in $\mathbb{R}^{d}$ compute a point that minimizes the sum of Euclidean distances to the points. This is one of the oldest non-trivial problems in computational geometry yet despite an abundance of research the previous fastest algorithms for computing a $(1+ε)$-approximate geometric median were $O(d\cdot n^{4/3}ε^{-8/3})$ by Chin et. al, $ ilde{O}(d\exp{ε^{-4}\logε^{-1}})$ by Badoiu et. al, $O(nd+\mathrm{poly}(d,ε^{-1})$ by Feldman and Langberg, and $O((nd)^{O(1)}\log\frac{1}ε)$ by Parrilo and Sturmfels and Xue and Ye. In this paper we show how to compute a $(1+ε)$-approximate geometric median in time $O(nd\log^{3}\frac{1}ε)$ and $O(dε^{-2})$. While our $O(dε^{-2})$ is a fairly straightforward application of stochastic subgradient descent, our $O(nd\log^{3}\frac{1}ε)$ time algorithm is a novel long step interior point method. To achieve this running time we start with a simple $O((nd)^{O(1)}\log\frac{1}ε)$ time interior point method and show how to improve it, ultimately building an algorithm that is quite non-standard from the perspective of interior point literature. Our result is one of very few cases we are aware of outperforming traditional interior point theory and the only we are aware of using interior point methods to obtain a nearly linear time algorithm for a canonical optimization problem that traditionally requires superlinear time. We hope our work leads to further improvements in this line of research.

연구 동기 및 목표

• n개의 점이 $\ mathbb{R}^d$에 있을 때 기하 중앙값을 계산하는 데 더 빠른 알고리즘을 개발하기 위해.
• 특히 $O((nd)^{O(1)}\log \frac{1}{\epsilon})$ 또는 그 이상이 필요한 이전 방법의 한계를 극복하기 위해.
• $(1+\epsilon)$-근사 기하 중앙값 계산에서 $n$과 $d$에 대해 거의 선형 시간 복잡도를 달성하기 위해.
• 비음수 가중치를 가진 가중 기하 중앙값 문제로 결과를 확장하기 위해.

제안 방법

• 기하 중앙값 문제에 특화된 새로운 장거리 내부점 방법을 설계하여 거의 선형 시간 반복을 가능하게 하였다.
• 효율적인 선형 대수와 샘플링 기법을 사용해 내부점 방법의 각 반복을 거의 선형 시간에 구현하였다.
• 샘플링 오라클을 사용한 스트로스틱 서브기울기 강하를 적용하여 $O(d\epsilon^{-2})$의 시간 복잡도를 달성하였다.
• 가중 기하 중앙값 문제를 $O(n\epsilon^{-1})$개의 점을 가진 동일한 무게 없는 문제로 변환하기 위해 가중치 감소 기법을 적용하였다.
• 스트로스틱 서브기울기 강하 중 효율적인 가중 샘플링을 위해 앨리아스 방법을 활용하였다.
• 왜곡에 대한 강건성 분석을 통합하여 수렴성과 정확성을 보장하고, 엄밀한 성능 보장을 확보하였다.

실험 결과

연구 질문

• RQ1 기하 중앙값 문제는 $(1+\epsilon)$-근사 해에 대해 $n$과 $d$에 대해 거의 선형 시간으로 해결될 수 있는가?
• RQ2 내부점 방법은 기존에 초선형 시간이 필요한 전형적인 최적화 문제에 대해 거의 선형 시간을 달성하도록 적응시킬 수 있는가?
• RQ3 기하 중앙값 계산을 위한 스트로스틱 서브기울기 강하의 정밀한 분석과 최적화는 어떻게 수행할 수 있는가? 수학적 수렴 보장이 가능한가?
• RQ4 가중 기하 중앙값 문제는 시간 복잡도에 최소한의 오버헤드로 무게 없는 경우로 환원될 수 있는가?
• RQ5 기하 중앙값의 어떤 구조적 성질이 비표준 내부점 변형에 의해 더 빠른 수렴을 가능하게 하는가?

주요 결과

• 논문은 $(1+\epsilon)$-근사 기하 중앙값을 계산하기 위한 $O(nd\log^3 \frac{1}{\epsilon})$ 시간 알고리즘을 달성하였으며, 이는 이전의 $O((nd)^{O(1)}\log \frac{1}{\epsilon})$ 방법보다 향상되었다.
• 스트로스틱 서브기울기 강하를 사용한 $O(d\epsilon^{-2})$ 시간 알고리즘이 제공되었으며, 이는 샘플링 기반 접근에서 로그 인자까지 최적이다.
• 저자는 전통적인 내부점 이론을 초월하는 비표준 장거리 내부점 방법을 제시하였으며, 이는 내부점 방법이 초선형 시간 장벽을 뛰어넘는 데 성공한 소수의 사례 중 하나이다.
• 가중 기하 중앙값 문제는 $O(n\epsilon^{-1})$개의 점을 가진 무게 없는 문제로 환원되었으며, 암시적 표현을 통해 동일한 시간 복잡도를 달성할 수 있었다.
• 알고리즘의 런타임은 입력 점들에서 비영인 원소의 수 $z$를 고려해 $O(z\log^3 \frac{n}{\epsilon})$로 추가로 최적화될 수 있었다.
• 이 작업는 내부점 방법을 볼록 최적화 문제에 거의 선형 시간으로 적용하기 위한 새로운 이론적 기반을 구축하였으며, 더 넓은 영향을 미칠 잠재력이 있다.