[論文レビュー] Improved Approximations for Euclidean $k$-means and $k$-median, via Nested Quasi-Independent Sets

Vincent Cohen-Addad, Hossein Esfandiari+2 more|arXiv (Cornell University)|Apr 11, 2022

Automated Road and Building Extraction被引用数 6

ひとこと要約

本稿では、ネストされた準独立集合を活用することで、より良い近似比を達成するための、ユークリッド $k$-メディアンおよび $k$-ミーンスクラスタリングのための新しいプリミナル・デュアルアルゴリズムを提示する。ユークリッド距離の幾何的構造を活用し、ネストされた準独立集合を用いた洗練されたセンター削除技術を導入することで、$k$-メディアンに対して2.406-近似、$k$-ミーンスに対して5.912-近似を達成し、高次元ユークリッド空間における既存の境界を改善した。

ABSTRACT

Motivated by data analysis and machine learning applications, we consider the popular high-dimensional Euclidean $k$-median and $k$-means problems. We propose a new primal-dual algorithm, inspired by the classic algorithm of Jain and Vazirani and the recent algorithm of Ahmadian, Norouzi-Fard, Svensson, and Ward. Our algorithm achieves an approximation ratio of $2.406$ and $5.912$ for Euclidean $k$-median and $k$-means, respectively, improving upon the 2.633 approximation ratio of Ahmadian et al. and the 6.1291 approximation ratio of Grandoni, Ostrovsky, Rabani, Schulman, and Venkat. Our techniques involve a much stronger exploitation of the Euclidean metric than previous work on Euclidean clustering. In addition, we introduce a new method of removing excess centers using a variant of independent sets over graphs that we dub a "nested quasi-independent set". In turn, this technique may be of interest for other optimization problems in Euclidean and $\ell_p$ metric spaces.

研究の動機と目的

• 高次元ユークリッド空間における $k$-メディアンおよび $k$-ミーンスクラスタリング問題の改善された近似アルゴリズムの開発。
• 一般のメトリック空間技術に依存する既存のアルゴリズムの限界を乗り越えるために、ユークリッド距離の幾何的構造を活用すること。
• 過剰なクラスタ中心の過剰カウントを回避する新しいセンター削除メカニズムの設計により、よりタイトな近似保証を達成すること。
• ユークリッド空間における最新の2.633-近似（$k$-メディアン）および6.1291-近似（$k$-ミーンス）を上回る近似比を達成すること。
• メトリックに基づく最適化に一般化可能な技術として、ネストされた準独立集合の概念を導入・形式化すること。

提案手法

• 著者らは、JainとVazirani、およびAhmadianらの手法にインspiredされたプリミナル・デュアルアルゴリズムを、ユークリッド距離に適応して開発した。
• 解の品質を保持しつつ、過剰な中心を体系的に削除できる、新たな独立集合の変種「ネストされた準独立集合」を導入した。
• クライアント-センターの割り当てを段階的な分析で扱い、距離と競合構造に基づいてクライアントを3つのグループに分割した。
• 分離と重複を制御するため、パラメータ $\delta_1 = \sqrt{2}$, $\delta_2 = 1.395$, および $\delta_3 = 2 - \sqrt{2}$ を用いて、各クライアントグループの寄与を抑えるための重要な不等式を導出した。
• 異なるクライアントタイプの $\rho^{(i)}(p)$ の比率をバインドする分析を行い、全体の近似比を最小化するため、$p \in [0.01, 0.068]$ における数値最適化を実施した。
• 最終的な近似保証は、$Q_i$, $R_i$, および $\rho^{(i)}$ 関数を含む線形制約系を解くことで得られ、付録Cにおける数値解析によって検証された。

実験結果

リサーチクエスチョン

• RQ1 一般のメトリック空間における既知の近似比よりも、$k$-メディアンおよび $k$-ミーンスにおいて、ユークリッド距離の構造を活用することでより良い近似比を達成可能か？
• RQ2 過剰カウントを回避し、高次元クラスタリングにおける近似比を向上させる、新しいセンター削除メカニズムを設計可能か？
• RQ3 幾何的制約を伴うプリミナル・デュアルフレームワークを用いて、ユークリッド $k$-メディアンおよび $k$-ミーンスで達成可能な最もタイトな近似比は何か？
• RQ4 準独立集合の概念をネスト化することで一般化・強化し、メトリッククラスタリングにおけるよりタイトな境界を導出可能か？
• RQ5 クライアントグループ比 $\rho^{(i)}(p)$ の数値的境界が、最終分析における全体の近似比にどのように影響するか？

主な発見

• 本稿では、ユークリッド $k$-メディアンに対して2.406-近似を達成し、以前の最良の2.633を上回った。
• ユークリッド $k$-ミーンスに対しては、5.912-近似を達成し、以前の最良の6.1291を上回った。
• その改善は、過剰な解の過剰カウントをよりよく制御する、ネストされた準独立集合を用いた新しいセンター削除技術によって実現された。
• 幾何的分離パラメータと $p \in [0.01, 0.068]$ における数値最適化を用いて、クライアントグループ寄与の厳密なバインドがなされた。
• クライアントの割り当てとセンター選択を密接に結びつける洗練されたプリミナル・デュアルフレームワークを通じて、近似比が達成された。
• 結果として、ユークリッド空間における幾何的構造を活用することで、一般メトリックにおける既知の近似不可能性境界を上回ることが示された。