[논문 리뷰] A Unified Framework for Sampling, Clustering and Embedding Data Points in Semi-Metric Spaces

Chia-Tai Chang, Cheng‐Shang Chang|arXiv (Cornell University)|2017. 08. 01.

Face and Expression Recognition참고 문헌 10인용 수 3

한 줄 요약

이 논문은 반거리공간에서 데이터 포인트의 샘플링, 군집화, 임bedding을 통합하는 프레임워크를 제안한다. 데이터를 가중치가 부여된 그래프로 모델링하고, 다중 해상도 군집화를 위해 지수적 왜곡을 활용한다. 공분산 행렬 기반의 소프트맥스 군집화 알고리즘을 도입하여 군집화와 저차원 임베딩을 동시에 가능하게 하며, 제곱 유클리드 거리 하에서 주성분 분석(PCA)과 이론적으로 동치임을 보였다. 실험 결과, 정규화된 모듈라리티 최적화는 균형 잡힌 군집을 선호하고, 반거리공간에서는 삼각부등식 위반이 성능을 떨어뜨림을 확인하였다.

ABSTRACT

In this paper, we propose a unified framework for sampling, clustering and embedding data points in semi-metric spaces. For a set of data points $Ω=\{x_1, x_2, \ldots, x_n\}$ in a semi-metric space, we consider a complete graph with $n$ nodes and $n$ self edges and then map each data point in $Ω$ to a node in the graph with the edge weight between two nodes being the distance between the corresponding two points in $Ω$. By doing so, several well-known sampling techniques can be applied for clustering data points in a semi-metric space. One particularly interesting sampling technique is the exponentially twisted sampling in which one can specify the desired average distance from the sampling distribution to detect clusters with various resolutions. We also propose a softmax clustering algorithm that can perform a clustering and embed data points in a semi-metric space to a low dimensional Euclidean space. Our experimental results show that after a certain number of iterations of "training", our softmax algorithm can reveal the "topology" of the data from a high dimensional Euclidean. We also show that the eigendecomposition of a covariance matrix is equivalent to the principal component analysis (PCA). To deal with the hierarchical structure of clusters, our softmax clustering algorithm can also be used with a hierarchical clustering algorithm. For this, we propose a partitional-hierarchical algorithm, called $i$PHD, in this paper. Our experimental results show that those algorithms based on the maximization of normalized modularity tend to balance the sizes of detected clusters and thus do not perform well when the ground-truth clusters are different in sizes. Also, using a metric is better than using a semi-metric as the triangular inequality is not satisfied for a semi-metric and that is more prone to clustering errors.

연구 동기 및 목표

• 군집화의 불안정한 성격을 해결하기 위해 다중 해상도 공동체 탐지가 가능한 확률적 프레임워크를 도입함.
• 삼각부등식이 반드시 성립하지 않는 반거리공간에서 샘플링, 군집화, 임베딩의 통합을 목표로 함.
• 공분산 기반의 소프트맥스 군집화가 쌍별 거리 정보만을 사용하여 군집화와 저차원 임베딩을 동시에 가능하게 함을 보여줌.
• 목적함수(모듈라리티 대비 정규화된 모듈라리티)와 거리 측정법(반거리공간 대비 거리공간)이 군집화 성능에 미치는 영향을 비교함.
• 삼각부등식 위반이 발생하는 반거리공간 대신 거리공간을 사용할 경우 군집 오차가 감소함을 보여줌.

제안 방법

• 반거리공간 내 데이터 포인트를 완전 그래프의 노드로 모델링하고, 간선 가중치를 쌍별 거리로 설정함.
• 역온도 파rameter λ를 조절하여 다중 해상도 군집화를 가능하게 하는 지수적 왜곡 샘플링을 적용함.
• 샘플링 분포에서 공분산 행렬을 구성하여 데이터 포인트 간 쌍별 상관관계를 표현함.
• 공분산 행렬을 기반으로 소프트맥스 함수에 기반한 확률적 할당을 통해 데이터 포인트를 군집에 할당하는 소프트맥스 군집화 알고리즘을 개발함.
• 공분산 행렬의 고유분해를 통해 데이터 포인트를 저차원 유클리드 공간으로 임베딩하며, 제곱 유클리드 거리가 사용될 경우 PCA와 등가임을 보임.
• 소프트맥스 군집화와 융합된 적응형 분할-계층적 탐지(iPHD) 알고리즘을 제안하여 계층적 군집 구조를 다룰 수 있도록 함.

실험 결과

연구 질문

• RQ1 삼각부등식이 성립하지 않는 반거리공간에서 샘플링, 군집화, 임베딩을 통합하는 프레임워크를 어떻게 설계할 수 있는가?
• RQ2 목적함수 선택(모듈라리티 최적화 대비 정규화된 모듈라리티 최적화)이 군집화 성능에 미치는 영향은 어느 정도인가?
• RQ3 반거리공간을 사용할 경우 삼각부등식 위반이 군집 정확도에 어떤 영향을 미치는가?
• RQ4 샘플링 분포에서 유도된 공분산 행렬이 쌍별 거리 정보만을 사용하여 군집화와 저차원 임베딩을 동시에 가능하게 할 수 있는가?
• RQ5 소프트맥스 군집화 알고리즘이 다양한 해상도에서 어떻게 작동하는가? 그리고 고차원 데이터의 기본 구조를 드러낼 수 있는가?

주요 결과

• 역온도 θ가 무한대에 가까워질수록 소프트맥스 군집화 알고리즘이 국소 최적해에 수렴하여 안정적인 군집 결과를 보장함.
• 제곱 유클리드 거리가 반거리공간으로 사용될 경우 공분산 행렬의 고유분해는 주성분 분석(PCA)과 등가임을 입증함.
• 정규화된 모듈라리티 최적화는 군집 크기를 균형 있게 만들기 때문에, 진정한 군집 크기가 균형을 이루지 않은 데이터셋에서는 성능이 열 劣함.
• 반거리공간을 사용할 경우 삼각부등식 위반이 발생하여 군집 오차가 증가함을 반례를 통해 입증함. 이 경우 비진정한 파artition이 더 높은 목적함수 값을 기록함.
• 반거리공간을 최단경로 계산을 통해 거리공간으로 변환하면 군집 성능이 향상됨. 이는 변환 후 진정한 파artition의 목적함수 값이 낮아짐으로써 확인됨.
• iPHD 알고리즘은 분할형 소프트맥스 군집화와 적응형 응집형 군집화를 융합하여 계층적 군집 구조를 성공적으로 탐지함으로써 다중 해상도 분석이 가능함.