[논문 리뷰] Foundations of Comparison-Based Hierarchical Clustering

Debarghya Ghoshdastidar, Michaël Perrot외 1명|arXiv (Cornell University)|2018. 11. 02.

Advanced Clustering Algorithms Research참고 문헌 36인용 수 10

한 줄 요약

이 논문은 순서형 임bedding에 의존하지 않고 직접 4중 비교('객체 i와 j는 k와 l보다 더 유사하다')에 기반하여 증명 가능하게 일致하는 비교 기반 계층적 군집화 알고리즘을 제안한다. 단일 연결 및 완전 연결이 본질적으로 비교 기반임을 입증하고, 이 프레임워크를 위한 두 가지 새로운 평균 연결 변형을 도입하여 식물화된 계층적 모델 하에서 강력한 통계적 보장을 달성하며, Dasgupta의 비용을 사용한 실제 데이터셋에서 임베딩 기반 기준보다 뛰어난 성능을 보인다.

ABSTRACT

We address the classical problem of hierarchical clustering, but in a framework where one does not have access to a representation of the objects or their pairwise similarities. Instead, we assume that only a set of comparisons between objects is available, that is, statements of the form "objects $i$ and $j$ are more similar than objects $k$ and $l$." Such a scenario is commonly encountered in crowdsourcing applications. The focus of this work is to develop comparison-based hierarchical clustering algorithms that do not rely on the principles of ordinal embedding. We show that single and complete linkage are inherently comparison-based and we develop variants of average linkage. We provide statistical guarantees for the different methods under a planted hierarchical partition model. We also empirically demonstrate the performance of the proposed approaches on several datasets.

연구 동기 및 목표

• 데이터의 유클리드 임베딩이 필요 없이 순서형 비교에 직접 기반하는 계층적 군집화 알고리즘을 개발하는 것.
• 식물화된 계층적 분할 모델 하에서 비교 기반 계층적 군집화에 대한 통계적 일致성 보장을 제공하는 것.
• 특히 축합 설정에서 비교 기반 군집화에 대한 이론적 기초가 부족한 문제를 해결하는 것.
• 비적응형, 사전 수집된 비교 데이터를 다룰 수 있는 알고리즘을 설계하는 것.
• Dasgupta의 비용을 평가 지표로 사용하여 실제 세계 데이터셋에서 임베딩 기반 방법보다 경험적으로 뛰어난 성능을 보여주는 것.

제안 방법

• 단일 연결 및 완전 연결 군집화를 4중 비교만을 사용하여 재구성하여, 이들이 본질적으로 비교 기반임을 입증한다.
• 유사도 점수의 평균을 구하는 대신 비교 기반 집계 규칙에 의존하는, 두 가지 새로운 평균 연결 군집화 변형을 제안한다.
• 데이터가 식물화된 계층적 구조를 따르는 통계적 모델을 도입하여 이론적 보장을 도출한다.
• 계층적 군집화의 품질 평가 지표로 Dasgupta의 비용을 사용하며, 더 유사한 객체들이 트리에서 더 낮은 수준에 통합되도록 유도한다.
• 실제 커뮤니티 기반 데이터 수집 환경을 시뮬레이션하기 위해 비교의 수동 샘플링(p ∈ {0.01, ..., 0.1})을 사용한다.
• 표준 및 비교 기반 데이터셋에서 Dasgupta의 비용을 사용하여 제안된 방법(4K-AL, 4-AL)과 임베딩 기반 기준(tSTE-AL, FORTE-AL)을 비교한다.

실험 결과

연구 질문

• RQ1 축합 계층적 군집화는 순서형 임베딩에 의존하지 않고 4중 비교로부터 직접 수행될 수 있는가?
• RQ2 단일 연결 및 완전 연결 군집화 알고리즘이 순수하게 비교 기반 프레임워크에서 여전히 타당하고 일치하는가?
• RQ3 평균 연결 군집화는 비교 기반 환경에 적응시킬 수 있으며, 그 강력한 이론적 보장은 유지되는가?
• RQ4 식물화된 계층적 모델 하에서 비교 기반 군집화의 통계적 성능은 어떠한가?
• RQ5 경험적으로 비교 기반 방법은 임베딩 기반 접근법과 비교해 군집화 품질 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 4K-AL 및 4-AL 방법은 여러 데이터셋에서 임베딩 기반 방법(tSTE-AL, FORTE-AL)보다 낮은 Dasgupta의 비용을 기록하여 더 나은 계층적 구조 복원을 의미한다.
• 임베딩 기반 방법(tSTE-AL, FORTE-AL)의 성능은 임베딩 차원에 민감하며, 특정 차원에서 최적 성능을 내지 못함(예: tSTE는 차원 증가에 따라 Zoo 데이터셋에서 성능 저하).
• 비교 비율(p ∈ {0.01, ..., 0.1})이 성능에 미치는 영향이 미미하여, 희박한 비교 데이터에 대해 강건함을 시사한다.
• 제안된 방법은 임베딩 기반 접근법과 달리 데이터에 강력한 유클리드 구조를 강제하지 않아, 이러한 구조가 자연스럽지 않은 경우 유리할 수 있다.
• Car 데이터셋에서 4K-AL 및 4-AL가 학습한 계층적 구조는 시각적으로 일관되며 직관적인 자동차 그룹화와 일치한다.
• 이론적 분석을 통해 단일 연결 및 완전 연결 군집화가 본질적으로 비교 기반임을 확인하고, 새로운 평균 연결 변형이 식물화 모델 하에서 일致성을 유지함을 입증한다.