[論文レビュー] Hierarchical Clustering for Euclidean Data

Moses Charikar, Vaggos Chatziafratis+2 more|arXiv (Cornell University)|Dec 27, 2018

Advanced Clustering Algorithms Research被引用数 15

ひとこと要約

本論文は、ガウスカーネルを用いたユークリッドデータに対するスケーラブルな階層的クラスタリングアルゴリズムを提案し、ProjecteD Random Cut (PRC) を導入し、低次元および高次元における平均リンクエージェンスの性能を分析している。Moseley-Wang 目的関数の近似比を 1/3 から 1/2 に改善し、SIFT10M などの大規模データセットでも線形時間性能を達成しており、平均リンクエージェンスやスペクトルクラスタリングを上回る速度を発揮しながらも、競争力のある目的関数値を維持している。

ABSTRACT

Recent works on Hierarchical Clustering (HC), a well-studied problem in exploratory data analysis, have focused on optimizing various objective functions for this problem under arbitrary similarity measures. In this paper we take the first step and give novel scalable algorithms for this problem tailored to Euclidean data in R^d and under vector-based similarity measures, a prevalent model in several typical machine learning applications. We focus primarily on the popular Gaussian kernel and other related measures, presenting our results through the lens of the objective introduced recently by Moseley and Wang [2017]. We show that the approximation factor in Moseley and Wang [2017] can be improved for Euclidean data. We further demonstrate both theoretically and experimentally that our algorithms scale to very high dimension d, while outperforming average-linkage and showing competitive results against other less scalable approaches.

研究の動機と目的

• ベクトルベースの類似度測定（特にガウスカーネルを含む）を用いたユークリッドデータに特化した目的関数駆動型アルゴリズムの不足に対処すること。
• 一般の類似度設定において平均リンクエージェンスの 1/3-近似保証を改善すること。
• 高次元ユークリッドデータに内在する幾何的構造を活用した、高速でスケーラブルなアルゴリズムの設計。
• 理論的および実験的検証を通じて、平均リンクエージェンスおよび PRC などの新規アルゴリズムが、大規模データセットにおいて近似品質と実行時間の両面で既存手法を上回ることを示すこと。
• 一般手法が制限される中で、1D ユークリッドデータのような構造的設定においても、近似要因を 1/3 を超えて改善できることを示すこと。

提案手法

• 高次元データをランダムな直線に投影し、その投影をソートした後、ランダムカットを実行することで階層的クラスタリング木を構築する線形時間アルゴリズムである Projected Random Cut (PRC) を提案。
• 1D ユークリッドデータにおける平均リンクエージェンスの分析を通し、Moseley-Wang 目的関数に対して 1/2-近似を達成することを証明。これは一般ケースの 1/3 の境界を上回る。
• 1D における最適目的値の理論的上限を表す 1D-SUM-upper bound を導入し、近似比の評価に用いる。
• 次元削減に基づくアプローチを用いて、特定の条件下で任意の類似度行列を模擬し、ユークリッド構造に焦点を当てる正当性を裏付ける。
• 主に $ w_{ij} = \exp(-\|v_i - v_j\|^2 / 2\sigma^2) $ のガウスカーネル類似度を測定基準とし、$\sigma$ は経験的ヒューリスティクスにより調整。
• 目的関数値の比較のため、スペクトルクラスタリングと MAX-upper をベンチマークとし、スケーラビリティを実現するためのワンパスデータ処理を採用。

実験結果

リサーチクエスチョン

• RQ1 平均リンクエージェンスの 1/3-近似保証は、1D ユークリッドデータのような構造的データ設定において改善可能か？
• RQ2 高次元ユークリッドデータに適した、強力な近似保証を維持するスケーラブルなアルゴリズムを設計可能か？
• RQ3 ガウスカーネル類似度を用いたユークリッドデータの幾何的構造は、一般類似度行列よりも優れた近似を可能にするか？
• RQ4 実世界のデータセットにおいて、PRC の目的関数値および実行時間は、平均リンクエージェンスやスペクトルクラスタリングと比較してどの程度の性能を示すか？
• RQ5 帯域幅パラメータ $\sigma$ の影響は、アルゴリズムの近似品質および安定性にどのような影響を与えるか？

主な発見

• ProjecteD Random Cut (PRC) は、Zoo データセット（100 サンプル、16D）で最大 0.92 の近似比を達成し、速度および目的関数値の両面で平均リンクエージェンスおよびスペクトルクラスタリングを上回った。
• SIFT10M データセット（1000万サンプル、128D）では、PRC が 1592 秒で実行され、データサイズにほぼ線形にスケーリングされ、1回のデータパスの実行時間に近づいた。
• 1D ユークリッドデータでは、ランダムカットおよび平均リンクエージェンスの両方が、Moseley-Wang 目的関数に対して 1/2-近似を達成し、一般ケースの 1/3 の境界を上回った。
• 理論的解析により、1D-SUM-upper bound の下で平均リンクエージェンスは 1/2-近似を超えることは不可能であり、この設定では 1/2 がタイトな境界であることが示された。
• 高次元データで帯域幅 $\sigma$ が小さい場合、平均リンクエージェンスは依然として 1/3-近似を超えることはできず、改善には $\sigma$ や次元に関する構造的仮定が必要であることが示唆された。
• Zoo データセットにおいて $\sigma$ を [1.5, 5] の範囲で選択すると、距離の差の感度と類似度の一様性の両立が図られ、最適性能は $\sigma=5$ 時に観測された。