[論文レビュー] k-Means Clustering of Lines for Big Data

Yair Marom, Dan Feldman|arXiv (Cornell University)|Mar 16, 2019

Machine Learning and Algorithms参考文献 33被引用数 7

ひとこと要約

本稿は、ℝᵈにおけるkライン中央値クラスタリングのための最初の多項式時間近似スキーム（PTAS）を提案し、定数k, d, εに対してO(n log n)時間で(1+ε)-近似を達成する。サイズがdk^O(k) log n / ε²のコアセットを導入し、M台のマシン上で近似的に対数時間のメモリ、通信、更新コストを実現する、効率的なストリーミングおよび分散計算を可能にする。実験により、Amazon EC2およびコンピュータビジョンや異常検出の分野における実世界の応用で有効性が検証された。

ABSTRACT

The input to the $k$-median for lines problem is a set $L$ of $n$ lines in $\mathbb{R}^d$, and the goal is to compute a set of $k$ centers (points) in $\mathbb{R}^d$ that minimizes the sum of squared distances over every line in $L$ and its nearest center. This is a straightforward generalization of the $k$-median problem where the input is a set of $n$ points instead of lines. We suggest the first PTAS that computes a $(1+ε)$-approximation to this problem in time $O(n \log n)$ for any constant approximation error $ε\in (0, 1)$, and constant integers $k, d \geq 1$. This is by proving that there is always a weighted subset (called coreset) of $dk^{O(k)}\log (n)/ε^2$ lines in $L$ that approximates the sum of squared distances from $L$ to any given set of $k$ points. Using traditional merge-and-reduce technique, this coreset implies results for a streaming set (possibly infinite) of lines to $M$ machines in one pass (e.g. cloud) using memory, update time and communication that is near-logarithmic in $n$, as well as deletion of any line but using linear space. These results generalized for other distance functions such as $k$-median (sum of distances) or ignoring farthest $m$ lines from the given centers to handle outliers. Experimental results on 10 machines on Amazon EC2 cloud show that the algorithm performs well in practice. Open source code for all the algorithms and experiments is also provided. This thesis is an extension of the following accepted paper: "$k$-Means Clustering of Lines for Big Data", by Yair Marom & Dan Feldman, Proceedings of NeurIPS 2019 conference, to appear on December 2019.

研究の動機と目的

• 高次元空間におけるkライン中央値クラスタリングのための効率的な近似アルゴリズムの不足に対処する。
• 任意のk個の中心への二乗距離の和を保持するように、入力サイズを縮小するコアセット構築法を開発する。
• コアセットとマージ・リダクション技術を用いて、効率的な分散およびストリーミング処理によるkライン中央値クラスタリングを実現する。
• ドローンのポーズ推定やコンピュータビジョンにおける異常検出といった実世界の応用で、手法を検証する。
• 外れ値の処理やk中央値、ロバストクラスタリングなどの他の距離関数に対応するためのフレームワークの拡張を行う。

提案手法

• ℝᵈにおけるkライン中央値クラスタリングに対して、サイズがdk^O(k) log n / ε²の(1+ε)-近似コアセットが存在することを証明する。
• 感度サンプリングを用いて、各ラインに最適コストへの寄与度に比例した重みを割り当てることでコアセットを計算する。
• マージ・リダクション技術を適用し、M台のマシン上でストリーミングおよび分散処理をサポートする。
• 候補中心の集合を出力する二基準近似アルゴリズムを設計し、そこから(1+ε)-近似を導出可能であるようにする。
• VC次元の境界を活用して、さまざまな距離関数に対してコアセットの一般化性と安定性を保証する。
• 実用的なクラウドインfraストラクチャ上での展開を実現するため、コアセットに基づくEMアルゴリズムを実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 nに対して非線形かつkおよび1/εに対して多項式的であるようなサイズの(1+ε)-近似コアセットを、ℝᵈにおけるkライン中央値クラスタリングに対して構築可能か？
• RQ2 このコアセットを用いて、近似的に対数時間のメモリ、通信、更新時間を持つストリーミングまたは分散アルゴリズムを設計可能か？
• RQ3 異常検出タスクにおいて、コアセットベースの手法はRANSAC や EM といった標準的ヒューリスティクスと比較して、精度と安定性に優れているか？
• RQ4 このフレームワークは、外れ値を扱えるk中央値やロバストクラスタリングに拡張可能か？
• RQ5 3次元カメラビューからのポーズ推定といった実世界の応用において、コアセットの経験的性能はいかがなものか？

主な発見

• 提案されたコアセット構築法により、O(n log n)時間でkライン中央値クラスタリングに対して(1+ε)-近似が達成され、コアセットサイズはdk^O(k) log n / ε²である。
• コアセットにより、各マシンがメインサーバーに送信するライン数がO(log n)に抑えられ、ストリーミング処理における通信量と更新時間の両方が近似的に対数的になる。
• Amazon EC2上10台のマシンを用いた実験では、コアセット構築時間はマシン数の増加に従いほぼ線形に短縮された。
• 異常検出タスクにおいて、コアセットはm=1000サンプルでε=0.4の誤差を達成したが、RANSACは同条件で1.8の誤差を示し、性能が劣った。
• 10%のサンプルサイズで、コアセットベース手法は平均3.2例の外れ値（全6例中）を検出できたが、RANSACは1例未満にとどまり、サンプリング品質に優れていることが示された。
• 可視化結果から、コアセットによる外れ値はグローバルおよびローカルに顕著な特徴を示していた一方、RANSACは重要な外れ値を漏れ出し、より優れたロバスティックさと正確性を示した。