[論文レビュー] A Unified Framework for Sampling, Clustering and Embedding Data Points in Semi-Metric Spaces

Chia-Tai Chang, Cheng‐Shang Chang|arXiv (Cornell University)|Aug 1, 2017

Face and Expression Recognition参考文献 10被引用数 3

ひとこと要約

本稿では、データを重み付きグラフとしてモデル化し、指数的ねじれを用いて多スケールクラスタリングを実現することで、半距離空間におけるサンプリング、クラスタリング、埋め込みを統合するフレームワークを提案する。共分散行列に基づくソフトマックスクラスタリングアルゴリズムを導入し、クラスタリングと低次元埋め込みの両方を可能にし、二乗ユークリッド距離を用いる場合、主成分分析（PCA）と理論的に同等であることを示す。実験では、正規化モジュラリティ最大化がバランスの取れたクラスタを favour する一方、半距離空間では三角不等式が破られるため性能が低下することが明らかになった。

ABSTRACT

In this paper, we propose a unified framework for sampling, clustering and embedding data points in semi-metric spaces. For a set of data points $Ω=\{x_1, x_2, \ldots, x_n\}$ in a semi-metric space, we consider a complete graph with $n$ nodes and $n$ self edges and then map each data point in $Ω$ to a node in the graph with the edge weight between two nodes being the distance between the corresponding two points in $Ω$. By doing so, several well-known sampling techniques can be applied for clustering data points in a semi-metric space. One particularly interesting sampling technique is the exponentially twisted sampling in which one can specify the desired average distance from the sampling distribution to detect clusters with various resolutions. We also propose a softmax clustering algorithm that can perform a clustering and embed data points in a semi-metric space to a low dimensional Euclidean space. Our experimental results show that after a certain number of iterations of "training", our softmax algorithm can reveal the "topology" of the data from a high dimensional Euclidean. We also show that the eigendecomposition of a covariance matrix is equivalent to the principal component analysis (PCA). To deal with the hierarchical structure of clusters, our softmax clustering algorithm can also be used with a hierarchical clustering algorithm. For this, we propose a partitional-hierarchical algorithm, called $i$PHD, in this paper. Our experimental results show that those algorithms based on the maximization of normalized modularity tend to balance the sizes of detected clusters and thus do not perform well when the ground-truth clusters are different in sizes. Also, using a metric is better than using a semi-metric as the triangular inequality is not satisfied for a semi-metric and that is more prone to clustering errors.

研究の動機と目的

• クラスタリングの不適切な定式化を解消するため、コミュニティの多スケール検出を可能にする確率的枠組みを導入すること。
• 三角不等式が必ずしも成り立たない半距離空間におけるサンプリング、クラスタリング、埋め込みの統一を図ること。
• 共分散に基づくソフトマックスクラスタリングが、ペアワイズ距離のみを用いてクラスタリングと低次元埋め込みの両方を可能にすることを示すこと。
• 目的関数（モジュラリティ対正規化モジュラリティ）と距離測度（半距離空間対距離空間）の選択がクラスタリング性能に与える影響を比較すること。
• 三角不等式の違反が生じる半距離空間ではなく距離空間を用いることで、クラスタリング誤差が減少することを示すこと。

提案手法

• 半距離空間内のデータポイントを、辺の重みがペアワイズ距離に等しい完全グラフのノードとしてモデル化する。
• 逆温度パラメータ λ を調整することで、多スケールクラスタリングを可能にする指数的ねじれサンプリングを適用する。
• サンプリング分布から共分散行列を構築し、データポイント間のペアワイズ相関を表現する。
• 共分散行列を用いて、ソフトマックス関数に基づく確率的割り当てによりデータポイントをクラスタに割り当てるソフトマックスクラスタリングアルゴリズムを開発する。
• 共分散行列の固有値分解を用いて、データポイントを低次元ユークリッド空間に埋め込む。二乗ユークリッド距離を用いる場合、これは主成分分析（PCA）と理論的に同等であることを示す。
• 部分的クラスタリングと階層的クラスタリングを組み合わせた反復的部品・階層的検出（iPHD）アルゴリズムを提案し、階層的クラスタ構造を扱う。

実験結果

リサーチクエスチョン

• RQ1 三角不等式が成り立たない半距離空間におけるサンプリング、クラスタリング、埋め込みを統合するフレームワークをどのように設計できるか？
• RQ2 目的関数としてのモジュラリティ最大化と正規化モジュラリティ最大化の選択が、クラスタリング性能にどの程度影響を及えるか？
• RQ3 三角不等式が破られる場合、半距離空間を用いることと距離空間を用いることのクラスタリング精度への影響は何か？
• RQ4 サンプリング分布から導かれる共分散行列を用いることで、ペアワイズ距離のみを用いてクラスタリングと低次元埋め込みの両方が可能になるか？
• RQ5 ソフトマックスクラスタリングアルゴリズムは、さまざまなスケールでどの程度の性能を示すか？また、高次元データの背後にあるトポロジーを明らかにできるか？

主な発見

• 逆温度 θ が無限大に近づくにつれて、ソフトマックスクラスタリングアルゴリズムは局所最適解に収束し、安定したクラスタリング結果が得られる。
• 二乗ユークリッド距離を半距離空間の距離測度として用いる場合、共分散行列の固有値分解は主成分分析（PCA）と理論的に同等である。
• 正規化モジュラリティ最大化はクラスタサイズのバランスを促進するが、真のクラスタサイズが不均一なデータセットでは性能が著しく低下する。
• 半距離空間を距離空間に置き換えることで、三角不等式の違反が生じるため、クラスタリング誤差が増加することが、反例により示された。
• 半距離空間を最短経路計算により距離空間に変換することで、真のクラスタ分割に対する目的関数値が低下し、クラスタリング性能が向上することが示された。
• iPHDアルゴリズムは、部分的ソフトマックスクラスタリングと階層的精錬を組み合わせることで、階層的クラスタ構造を効果的に捉え、多スケール解析を可能にした。