[논문 리뷰] Do logarithmic proximity measures outperform plain ones in graph clustering?

Vladimir Ivashkin, Pavel Chebotarev|arXiv (Cornell University)|2016. 05. 03.

Advanced Clustering Algorithms Research인용 수 4

한 줄 요약

이 논문은 그래프 근접도 측정법의 로그 변환 버전이 순수 측정법 대비 클러스터링 성능을 향상시키는지 조사한다. 대부분의 경우—특히 동질적인 클래스를 가진 무작위 그래프에서—의사결정법의 덧셈적 성격과 기본적으로 호환되는 Communicability 및 Commute Time 등의 근접도 측정법의 로그 버전이 순수 버전보다 성능이 뛰어나며, 이는 그래프 커널의 곱셈적 성격을 덧셈 거리 구조로 변환함으로써 클러스터 간 분리도를 향상시키기 때문이다.

ABSTRACT

We consider a number of graph kernels and proximity measures including commute time kernel, regularized Laplacian kernel, heat kernel, exponential diffusion kernel (also called "communicability"), etc., and the corresponding distances as applied to clustering nodes in random graphs and several well-known datasets. The model of generating random graphs involves edge probabilities for the pairs of nodes that belong to the same class or different predefined classes of nodes. It turns out that in most cases, logarithmic measures (i.e., measures resulting after taking logarithm of the proximities) perform better while distinguishing underlying classes than the "plain" measures. A comparison in terms of reject curves of inter-class and intra-class distances confirms this conclusion. A similar conclusion can be made for several well-known datasets. A possible origin of this effect is that most kernels have a multiplicative nature, while the nature of distances used in cluster algorithms is an additive one (cf. the triangle inequality). The logarithmic transformation is a tool to transform the first nature to the second one. Moreover, some distances corresponding to the logarithmic measures possess a meaningful cutpoint additivity property. In our experiments, the leader is usually the logarithmic Communicability measure. However, we indicate some more complicated cases in which other measures, typically, Communicability and plain Walk, can be the winners.

연구 동기 및 목표

• 로그 변환된 그래프 근접도 측정법이 순수 측정법 대비 클러스터링 성능을 향상시키는지 평가하는 것.
• 로그 변환된 측정법이 클러스터링 작업에서 순수 측정법보다 성능이 뛰어나게 되는 근본적 이유를 조사하는 것.
• 열화학 커널, Communicability, 워크, 공명 시간 커널 등 다양한 근접도 측정법을 순수 및 로그 형태로 비교하는 것.
• 무작위 그래프의 다양한 클래스 크기와 실제 데이터셋을 포함한 다양한 그래프 구조에서의 성능 평가.
• 로그 변환된 측정법의 우월성이 다양한 클러스터링 알고리즘과 파rameter 설정 간에도 유지되는지 확인하는 것.

제안 방법

• 정의된 클래스와 내부 및 외부 연결 확률을 가진 무작위 그래프 모델 $G(N, m, p_{\text{in}}, p_{\text{out}})$ 를 사용한다.
• Communicability, Walk, Heat, Forest, Commute Time 커널의 순수 및 로그 변환 형태를 포함한 총 13종의 근접도 측정법 가족을 평가한다.
• 각 설정에서 50개의 생성된 그래프를 대상으로, 최적 및 90번째, 80번째 백분위수 파라미터를 사용해 이변량 토너먼트 기반 Copeland 점수로 성능을 평가한다.
• 특정 클러스터링 알고리즘에 의존하지 않고 분리 가능성 평가를 위해 거부 곡선과 ROC 곡선을 사용해 내부 및 외부 클래스 간 거리 구조를 비교한다.
• 이론적 분석을 통해 근접도 측정법과 메트릭 간의 이중성, 특히 삼각부등식과 로그 변환의 역할을 중심으로 분석한다. 이는 곱셈적 커널을 덧셈 거리 구조와 일치시키는 데 기여한다.
• 실제 데이터셋(예: 축구, polbooks, Zachary)을 활용해 합성 그래프를 넘어서도 결과의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 로그 변환된 근접도 측정법은 그래프 클러스터링 작업에서 일관되게 순수 측정법보다 뛰어나게 작용하는가?
• RQ2 로그 변환된 측정법이 순수 측정법보다 성능이 뛰어나게 되는 근본적 이유는 무엇인가?
• RQ3 특히 이질적인 클래스 크기를 가진 다양한 그래프 구조에서, 다양한 근접도 측정법—특히 로그 변환된 형태—의 성능은 어떻게 나타나는가?
• RQ4 일부 네트워크 유형이나 구성에서는 순수 측정법이 로그 변환된 측정법보다 성능이 뛰어나게 되는 경우가 있는가?
• RQ5 로그 변환은 그래프 커널의 곱셈적 성격과 클러스터링 알고리즘의 덧셈적 성격을 효과적으로 조율하는가?

주요 결과

• 대부분의 경우—특히 동질적인 클래스를 가진 무작위 그래프에서—로그 변환된 근접도 측정법이 순수 측정법보다 클러스터링 성능에서 뛰어나며, 특히 로그-Communicability가 가장 뛰어난 성능을 보였다.
• 로그 변환은 그래프 커널의 곱셈적 성격을 클러스터링 알고리즘에서 사용하는 삼각부등식과 호환되는 덧셈 거리 구조로 변환함으로써 성능 향상을 이룬다.
• 무작위 그래프에서 최적 파라미터 토너먼트에서 로그-Communicability는 최고의 Copeland 점수 62를 기록했으며, Sigmoid-Corrected Commute Time(SCCT)가 62점, 로그-Forest가 59점으로 뒤를 이었다.
• 실제 데이터셋인 축구와 polbooks에서는 로그-Communicability가 각각 61점과 59점으로 최적 파라미터 토너먼트에서 선두를 달렸다.
• 로그 변환된 측정법은 최적 파라미터가 아닐 경우 성능이 더 불안정해진다: 예를 들어 로그-Heat와 RSP는 80번째 백분위수 파라미터를 사용할 경우 순위가 크게 하락하여 낮은 내구성을 보였다.
• 복잡하고 이질적인 네트워크—특히 불균형한 클래스 크기나 많은 수의 클래스를 가진 네트워크에서는 순수 측정법인 Comm와 pWalk가 로그 변환된 형태보다 성능이 뛰어나게 되며, 이는 맥락에 따라 성능 우월성이 달라질 수 있음을 시사한다.