[論文レビュー] Recovery guarantees for exemplar-based clustering

Abhinav Nellore, Rachel Ward|arXiv (Cornell University)|Sep 12, 2013

Sparse and Compressive Sensing Techniques参考文献 53被引用数 4

ひとこと要約

本稿は、k-medoids問題の線形計画（LP）緩和を用いた例示ベースクラスタリングの理論的回復保証を確立する。d ≥ 2次元において、点群が等方的ボール分布に従う条件下で、点数とクラスタ間分離距離が十分に大きい場合には、標準的な距離しきい値法が失敗する領域ですら、高確率で真のk-medoid解を正確に回復できることを示している。

ABSTRACT

For a certain class of distributions, we prove that the linear programming relaxation of $k$-medoids clustering---a variant of $k$-means clustering where means are replaced by exemplars from within the dataset---distinguishes points drawn from nonoverlapping balls with high probability once the number of points drawn and the separation distance between any two balls are sufficiently large. Our results hold in the nontrivial regime where the separation distance is small enough that points drawn from different balls may be closer to each other than points drawn from the same ball; in this case, clustering by thresholding pairwise distances between points can fail. We also exhibit numerical evidence of high-probability recovery in a substantially more permissive regime.

研究の動機と目的

• LP緩和されたk-medoidsクラスタリングが真のグローバル最適解を高確率で正確に回復する理論的条件を確立すること。
• クラスタ内距離が一部のクラスタ間距離を上回る非自明な領域における回復性能を分析すること。
• 従来の一様次元設定を超えて、等方的クラスタ構造を有する高次元ユークリッド空間（d ≥ 2）への結果の拡張。
• 小規模なクラスタあたりの標本数とわずかな分離距離に対するLP緩和のロバストネスを調査すること。
• 理論的保証とシミュレーションにおける実際の成功との乖離を、非一様および高次元分布の文脈で探ること。

提案手法

• k-medoidsクラスタリングを、割り当てられたメドイアンまでの全距離の二乗和を最小化するバイナリ整数計画問題として定式化する。
• バイナリ制約を非負性に緩和し、効率的に解ける線形計画（LinKMed）を得る。
• 点群がk個の重複しない等方的d次元ボールからi.i.d.に抽出される生成モデルの下でLP緩和を分析する。
• 確率的議論と幾何的集中を用いて、LPの最適解が高確率で整数解と一致することを証明する。
• KKT条件と双対性を用いて、仮定されたモデル下での最適性および解の一意性を分析する。
• 次元d、分離半径R、標本サイズnの変動を想定した数値シミュレーションを実施し、理論的境界を超えた回復性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 LP緩和されたk-medoidsが、どのような条件下で高確率で真のk-medoid解を正確に回復するか？
• RQ2 クラスタ内距離が一部のクラスタ間距離を上回る領域において、LP緩和の回復性能は距離しきい値法と比べてどのように異なるか？
• RQ3 理論的回復保証を、d ≥ 2の高次元空間およびクラスタ内の非一様分布へ拡張可能か？
• RQ4 1クラスタあたりの点数とクラスタ間分離距離が、LP緩和による正確な回復の可能性にどのように影響するか？
• RQ5 特に高次元または非等方的設定において、実験的結果が理論的境界をどの程度上回るか？

主な発見

• 点群がk個の重複しないd次元ボール（d ≥ 2）から抽出される場合、点数とボール間分離距離が十分に大きい限り、LP緩和は高確率で真のk-medoid解を正確に回復する。
• 一部の異なるクラスタの点が同じクラスタ内の点よりも近い非自明な領域でも、回復が保証される。これは、単純な距離しきい値法が失敗する領域である。
• 数値シミュレーションでは、d=2における一様分布でもR ≈ 2.5、nが数十の範囲で高確率での回復が観察された。理論的境界（R=3.75のときn ≥ 10^6）を著しく上回る性能を示した。
• 固定されたn, R, dに対して、クラスタ数kが減少するほど回復が向上し、kが増加するほど回復確率が低下することが示唆された。
• 次元dが増加するにつれ、一様分布下でもボールの正確な回復数が増加し、高次元ではLP緩和によるクラスタ分離性が向上することが示された。
• 理論的保証は実験的性能に比べて保守的であり、特に高次元または非一様分布（クラスタ中心に質量が集中）の設定では顕著に顕在された。