[論文レビュー] Geometric Median in Nearly Linear Time

Michael B. Cohen, Yin Tat Lee+3 more|arXiv (Cornell University)|Jun 16, 2016

Computational Geometry and Mesh Generation参考文献 3被引用数 10

ひとこと要約

本稿では、幾何的中央値の$(1+\epsilon)$-近似を計算する、$\mathbb{R}^d$ においてほぼ線形時間の新しいアルゴリズムを提示する。この手法は、幾何的中央値問題に特化した長ステップ内点法を用い、$O(nd\log^3 \frac{1}{\epsilon})$ の時間計算量を達成する。また、確率的部分勾配降下法を用いたより高速な$O(d\epsilon^{-2})$ のアルゴリズムも提供しており、両者とも従来の超線形時間の手法を著しく改善している。

ABSTRACT

In this paper we provide faster algorithms for solving the geometric median problem: given $n$ points in $\mathbb{R}^{d}$ compute a point that minimizes the sum of Euclidean distances to the points. This is one of the oldest non-trivial problems in computational geometry yet despite an abundance of research the previous fastest algorithms for computing a $(1+ε)$-approximate geometric median were $O(d\cdot n^{4/3}ε^{-8/3})$ by Chin et. al, $ ilde{O}(d\exp{ε^{-4}\logε^{-1}})$ by Badoiu et. al, $O(nd+\mathrm{poly}(d,ε^{-1})$ by Feldman and Langberg, and $O((nd)^{O(1)}\log\frac{1}ε)$ by Parrilo and Sturmfels and Xue and Ye. In this paper we show how to compute a $(1+ε)$-approximate geometric median in time $O(nd\log^{3}\frac{1}ε)$ and $O(dε^{-2})$. While our $O(dε^{-2})$ is a fairly straightforward application of stochastic subgradient descent, our $O(nd\log^{3}\frac{1}ε)$ time algorithm is a novel long step interior point method. To achieve this running time we start with a simple $O((nd)^{O(1)}\log\frac{1}ε)$ time interior point method and show how to improve it, ultimately building an algorithm that is quite non-standard from the perspective of interior point literature. Our result is one of very few cases we are aware of outperforming traditional interior point theory and the only we are aware of using interior point methods to obtain a nearly linear time algorithm for a canonical optimization problem that traditionally requires superlinear time. We hope our work leads to further improvements in this line of research.

研究の動機と目的

• $n$ 個の点の幾何的中央値を計算するためのより高速なアルゴリズムの開発。
• 特に $O((nd)^{O(1)}\log \frac{1}{\epsilon})$ やそれ以上の時間計算量を必要としていた従来の手法の制限を克服すること。
• $(1+\epsilon)$-近似幾何的中央値の計算において、$n$ および $d$ に関してほぼ線形時間計算量を達成すること。
• 重み付き幾何的中央値問題（非負の重みを伴う）への拡張。

提案手法

• 幾何的中央値問題に特化した新しい長ステップ内点法を設計し、ほぼ線形時間の反復を可能にする。
• 高度な線形代数およびサンプリング技術を用いて、内点法の各反復をほぼ線形時間で実装する。
• サンプリングオракルを用いた確率的部分勾配降下法を適用し、$O(d\epsilon^{-2})$ の時間計算量を達成する。
• 重み付き幾何的中央値問題を、$O(n\epsilon^{-1})$ 個の点を含む等価な非重み付き問題に変換するための重み削減技術を適用する。
• 確率的部分勾配降下法の過程で効率的な重み付きサンプリングを実現するため、アリス法を活用する。
• パートリュベーションに対して収束性と精度を保証するためのロバストネス解析を統合し、厳密な性能保証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 $(1+\epsilon)$-近似解について、$n$ および $d$ に関してほぼ線形時間で幾何的中央値問題を解くことは可能か？
• RQ2 内点法は、従来超線形時間を要するとされていた標準的な最適化問題に対して、ほぼ線形時間で実行可能に改造可能か？
• RQ3 確率的部分勾配降下法は、収束の保証が得られるように厳密に分析・最適化可能か？
• RQ4 重み付き幾何的中央値問題は、時間計算量のオーバーヘッドを最小限に抑えて非重み付き問題に還元可能か？
• RQ5 幾何的中央値のどのような構造的性質が、標準的でない内点法の変種による高速収束を可能にするか？

主な発見

• 本稿では、$(1+\epsilon)$-近似幾何的中央値の計算について、$O(nd\log^3 \frac{1}{\epsilon})$ の時間計算量を達成するアルゴリズムを実現し、従来の $O((nd)^{O(1)}\log \frac{1}{\epsilon})$ 手法を改善した。
• 確率的部分勾配降下法を用いた $O(d\epsilon^{-2})$ の時間計算量のアルゴリズムを提供しており、サンプリングに基づくアプローチにおいて、対数要因を除いて最適である。
• 本稿では、従来の内点法理論を凌駕する、非標準的な長ステップ内点法を提示しており、内点法が超線形時間の壁を破る例の一つとして顕著である。
• 重み付き幾何的中央値問題は、$O(n\epsilon^{-1})$ 個の点を含む非重み付き問題に還元可能であり、暗黙的表現により同じ時間計算量を達成できる。
• アルゴリズムの実行時間は、入力点の非ゼロ要素数 $z$ を用いて $O(z\log^3 \frac{n}{\epsilon})$ にさらに最適化可能である。
• 本研究は、凸最適化における内点法をほぼ線形時間で用いるための新しい理論的基盤を確立し、広範な影響を及える可能性を示している。