[논문 리뷰] Hierarchical Clustering with Structural Constraints

Vaggos Chatziafratis, Rad Niazadeh외 1명|arXiv (Cornell University)|2018. 05. 24.

Advanced Clustering Algorithms Research참고 문헌 5인용 수 24

한 줄 요약

이 논문은 최적화 프레임워크를 활용하여 구조적 제약 조건을 갖는 계층적 군집화에 대해 증명 가능하게 효과적인 접근법을 제안한다. 충돌하는 제약 조건이 존재하더라도 근사 보장을 갖는 상향식 알고리즘을 제안하며, 성능 한계를 개선하기 위해 새로운 종속도 측정법을 도입한다.

ABSTRACT

Hierarchical clustering is a popular unsupervised data analysis method. For many real-world applications, we would like to exploit prior information about the data that imposes constraints on the clustering hierarchy, and is not captured by the set of features available to the algorithm. This gives rise to the problem of "hierarchical clustering with structural constraints". Structural constraints pose major challenges for bottom-up approaches like average/single linkage and even though they can be naturally incorporated into top-down divisive algorithms, no formal guarantees exist on the quality of their output. In this paper, we provide provable approximation guarantees for two simple top-down algorithms, using a recently introduced optimization viewpoint of hierarchical clustering with pairwise similarity information [Dasgupta, 2016]. We show how to find good solutions even in the presence of conflicting prior information, by formulating a constraint-based regularization of the objective. We further explore a variation of this objective for dissimilarity information [Cohen-Addad et al., 2018] and improve upon current techniques. Finally, we demonstrate our approach on a real dataset for the taxonomy application.

연구 동기 및 목표

• 계층적 군집화에 삼중항 제약 조건 또는 루트가 있는 부분수형 트리 제약 조건과 같은 구조적 제약 조건을 통합하면서도 알고리즘 보장 조건을 유지하는 데 도전하는 것.
• 특히 충돌하거나 비가능한 제약 조건이 존재하는 경우에도 상향식 계층적 군집화 알고리즘에 대한 공식적인 근사 보장을 제공하는 것.
• Dasgupta(2016)의 계층적 군집화를 위한 최적화 프레임워크를 확장하여 정규화 및 초그래프 최소 컷 기법을 통해 제약 조건을 처리하는 것.
• 기존의 거리 기반 계층적 군집화 방법을 개선하기 위해 보다 정교한 목적 함수와 알고리즘 접근법을 도입하는 것.
• 실세계 분류체계 데이터셋을 대상으로 본 방법의 실용성을 검증하여 제약 조건이 있는 환경에서의 효과성을 입증하는 것.

제안 방법

• Dasgupta(2016)의 계층적 군집화 최적화 시각화를 채택하여 목적 함수를 가중된 최소 공통 조상 서브트리 크기의 합을 최소화하는 방식으로 수립한다.
• 비가능하거나 충돌하는 제약 조건을 다루기 위해 초그래프 최소 컷 문제를 활용한 제약 조건 기반 목적 함수 정규화를 도입한다.
• 제약 조건 클래스 간 상호의존성을 모델링하기 위해 종속성 방향 그래프를 정의한다. 이는 제약 조건이 해결되어야 할 순서를 포괄한다.
• 계층적 종속성 부분그래프와 종속도 측정법(DMC)을 제안하여 제약 조건 보호의 깊이를 정량화하고, 보다 정교한 근사 보장을 가능하게 한다.
• 제약 조건을 존중하면서도 근사 요소가 종속도 측정법에 따라 달라지는 상향식 재귀적 무작위 커팅 방법인 Constrained-RRC 알고리즘을 설계한다.
• Constrained-RRC가 거리 기반-HC 목적 함수에 대해 α-근사임을 증명하며, 이때 α = 2(1−k/n)/(3·DMC)이며, DMC는 모든 제약 조건 클래스에 대한 최대 종속도 측정값이다.

실험 결과

연구 질문

• RQ1 상향식 계층적 군집화 알고리즘이 구조적 제약 조건이 부여된 경우에도 증명 가능한 근사 보장을 달성할 수 있는가?
• RQ2 충돌하거나 비가능한 제약 조건이 존재하는 계층적 군집화에서 알고리즘 성능 보장을 유지하면서 이를 어떻게 다룰 수 있는가?
• RQ3 제약 조건 간 상호의존성은 계층적 군집화 해법의 품질에 어떤 영향을 미치는가?
• RQ4 Dasgupta(2016)의 최적화 프레임워크를 거리 기반 계층적 군집화에 확장하여 개선된 보장을 달성할 수 있는가?
• RQ5 제약 조건의 종속도 측정법은 계층적 군집화 알고리즘의 근사 요소에 어떤 영향을 미치는가?

주요 결과

• Constrained-RRC 알고리즘은 거리 기반-HC 목적 함수에 대해 α = 2(1−k/n)/(3·DMC)의 근사 요소를 확보한다. 여기서 DMC는 제약 조건 집합의 종속도 측정값이다.
• 종속도 측정값이 일정할 경우, Constrained-RRC는 O(1)-근사 요소를 제공하며, 잘 구성된 제약 조건 하에서 뛰어난 성능을 보임을 시사한다.
• 종속도 측정법은 다른 제약 조건이 제약 조건의 기반을 얼마나 깊이 보호하는지를 정량적으로 측정할 수 있으며, 알고리즘 성능 분석을 더욱 정교하게 가능하게 한다.
• 초그래프 최소 컷 문제를 통한 정규화 방법은 비가능한 제약 조건을 효과적으로 처리하면서도 해의 품질을 유지할 수 있도록 한다.
• 이론적 보장은 거리 설정에서 Dasgupta의 목적 함수의 변형으로 확장되었으며, 이는 이전 기법보다 향상된 성능을 제공한다.
• 실세계 분류체계 데이터셋에서의 실증 검증을 통해 본 방법이 의미 있는 제약 조건을 충족하는 계층적 구조를 생성하는 데 실용적으로 효과적임을 확인하였다.