[論文レビュー] A Sub-Quadratic Exact Medoid Algorithm

James Newling, François Fleuret|arXiv (Cornell University)|May 23, 2016

Data Management and Algorithms参考文献 16被引用数 5

ひとこと要約

本稿では、特定の仮定の下で $\dd$ において期待 $O(N^{3/2})$ 時間計算量を達成する、新しい正確なメドイドアルゴリズムである trimed を紹介する。これは $d > 1$ に対して、初めてのサブ2次関数的正確メドイドアルゴリズムである。三角不等式を活用して非メドイド候補を効率的に除外することで、距離計算回数を、最先端の近似手法と比較してしばしば2桁以上削減する。これにより、クラスタリング品質の損失を最小限に抑えつつ、$K$-メドイドスケーリングを加速できる。

ABSTRACT

We present a new algorithm, trimed, for obtaining the medoid of a set, that is the element of the set which minimises the mean distance to all other elements. The algorithm is shown to have, under certain assumptions, expected run time O(N^(3/2)) in R^d where N is the set size, making it the first sub-quadratic exact medoid algorithm for d>1. Experiments show that it performs very well on spatial network data, frequently requiring two orders of magnitude fewer distance calculations than state-of-the-art approximate algorithms. As an application, we show how trimed can be used as a component in an accelerated K-medoids algorithm, and then how it can be relaxed to obtain further computational gains with only a minor loss in cluster quality.

研究の動機と目的

• $d > 1$ に対してサブ2次関数的時間計算量を達成する正確なメドイドアルゴリズムの開発。既存手法の $\Theta(N^2)$ ボトルネックを克服すること。
• 空間的および低次元データにおけるメドイド計算における距離計算回数の顕著な削減。
• 新しいアルゴリズムを $K$-メドイドスケーリングに統合し、収束を加速するとともに、クラスタリング品質を維持すること。
• 理論的計算量が成り立つ条件の分析および高次元設定における性能評価。

提案手法

• アルゴリズムは、候補要素の周囲に除外球を定義し、エネルギーの上限に基づいてメドイドになれないものを除外する。三角不等式を用いる。
• ランダムサンプリング戦略を採用し、除外領域外の候補に対してのみエネルギーを計算する。新しいエネルギーが計算されるたびに、除外領域を動的に拡大する。
• 理論的分析により、点の分布およびエネルギー密度に関する仮定の下で、未除外の要素は $O(N^{1/2})$ 個に制限され、結果として $O(N^{3/2})$ 期待実行時間となることが示された。
• アルゴリズムは、メドイド周辺のエネルギー分布が中央値で密度がゼロに近づくという仮定に依存している。これは $\mathbb{R}^d$ において $d \geq 2$ のとき成り立つ。
• アルゴリズムは $K$-メドイドスケーリングのボロノイ反復（KMEDS）フレームワークに統合され、各クラスタごとの $O(N^2)$ 依存性を解消するため、二次的メドイド計算を trimed に置き換える。
• クラスタリング品質のわずかな劣化を許容することで、さらに $K$-メドイドスケーリングの高速化を図るため、trimed の緩和版が提案されている。

実験結果

リサーチクエスチョン

• RQ1 $\mathbb{R}^d$ において $d > 1$ のとき、正確なメドイドアルゴリズムがサブ2次関数的期待時間計算量を達成できるか？
• RQ2 三角不等式に基づく除外戦略は、距離計算回数の削減にどの程度有効か？
• RQ3 $O(N^{3/2})$ 計算量の上限が成り立つ条件は何か？また、それらはデータ次元数とどのように関係するか？
• RQ4 trimed はクラスタリング品質を維持したまま、$K$-メドイドスケーリングをどの程度加速できるか？
• RQ5 距離計算回数と精度の観点から、trimed は TOPRANK などの近似アルゴリズムと実際どのように比較されるか？

主な発見

• エネルギー密度および点の分布に関する仮定の下で、trimed は $\mathbb{R}^d$ において期待実行時間が $O(N^{3/2})$ となる。これは $d > 1$ に対して、初めてのサブ2次関数的正確メドイドアルゴリズムである。
• 実験により、trimed は空間的および低次元データにおいて、最先端の近似アルゴリズム（例：TOPRANK）と比較して距離計算回数を最大2桁削減することが示された。
• 道路網や鉄道網などの空間的ネットワークデータでは、幾何的構造のおかげで除外効率が高いため、特に優れた性能を発揮する。
• $K$-メドイド（KMEDS）に統合された場合、trimed は各クラスタごとの $O(N^2)$ 計算依存性を解消し、収束を顕著に加速する。
• trimed の緩和版により、わずかなクラスタリング品質の劣化を許容することで、さらなる計算上の利点が得られ、実用的な速度と精度のトレードオフが実証された。
• 高次元空間（$d \gg 1$）では、$d$ に指数関数的に依存するため、性能が劣化し、多くの場合 $O(N^2)$ の距離計算回数にまで回帰する。これは非常に高次元空間における制限を示している。