[논문 리뷰] Ward's Hierarchical Clustering Method: Clustering Criterion and Agglomerative Algorithm

Fionn Murtagh, Pierre Legendre|arXiv (Cornell University)|2011. 11. 27.

Advanced Clustering Algorithms Research참고 문헌 14인용 수 1,316

한 줄 요약

이 논문은 두 가지 유형—Ward1과 Ward2—를 구분함으로써 오랫동안 애매시되어 온 Ward의 계층적 군집화 방법의 구현에 대한 혼동을 명확히 한다. 이 두 유형은 입력으로 제곱 거리 또는 비제곱 거리를 사용하는지의 여부에서 다름을 보인다. 연구는 원시 비유사도를 사용할 경우 오직 Ward2만이 Ward 기준을 최소화함을 보여주며, Ward1은 제곱 거리가 필요하다. 적절히 정렬된 경우 두 방법은 동일한 군집 구조(topology)를 생성하며, 노드 높이는 제곱근 변환 관계가 있다. 주요 기여는 소프트웨어 도구 간 일관된 구현을 위한 통합 프레임워크를 제공하는 데 있다.

ABSTRACT

The Ward error sum of squares hierarchical clustering method has been very widely used since its first description by Ward in a 1963 publication. It has also been generalized in various ways. However there are different interpretations in the literature and there are different implementations of the Ward agglomerative algorithm in commonly used software systems, including differing expressions of the agglomerative criterion. Our survey work and case studies will be useful for all those involved in developing software for data analysis using Ward's hierarchical clustering method.

연구 동기 및 목표

• 문헌과 소프트웨어에서 Ward의 계층적 군집화 방법을 올바르게 구현하는 데 널리 퍼져 있는 혼동을 해결하기 위해.
• Ward1과 Ward2의 구현 간 핵심적인 차이점—특히 입력 거리 척도와 기준 최적화 방식—를 규명하고 설명하기 위해.
• 원시 비유사도를 사용할 경우 오직 Ward2만이 Ward 군집 기준을 정확히 최소화함을 보여주기 위해.
• 소프트웨어 개발자와 사용자가 다양한 구현 간 일관성 있고 정확한 결과를 얻기 위해 어떻게 해야 할지 안내하기 위해.
• 다이어그램 높이와 공형성 상관계수를 정확히 해석하기 위해 군집 기준 값이 제곱 여부를 구분하는 것이 중요한 이유를 강조하기 위해.

제안 방법

• 논문은 Ward의 방법을 두 가지 방식으로 분석한다: Ward1은 제곱 거리의 합을 기준으로 사용하고, Ward2는 거리의 합을 기준으로 사용한다.
• Lance-Williams 업데이트 공식을 유도하여, Ward1의 구현은 제곱 거리를 포함하는 기준에 기반하고, Ward2는 비제곱 형태를 사용함을 보여준다.
• 동일한 비유사도 행렬을 사용하여 두 알고리즘을 비교하고, 원시 거리에 적용했을 때 오직 Ward2만이 Ward 기준을 최소화함을 실험적으로 입증한다.
• Ward1에 제곱 거리(D²)를, Ward2에 원시 거리(D)를 적용할 경우, 두 방법 모두 동일한 군집 구조를 생성하며, 노드 높이는 제곱근 변환 관계가 있음을 보여준다.
• 사례 연구 및 실험(예: 실험 1 및 실험 2)을 통해 다이어그램 출력의 형태적 및 수치적 차이를 설명한다.
• 분산 분해(T = B + W)의 엄밀한 유도를 제공하고, 이를 Ward 기준과 연결하여 입력 선택이 최적화에 미치는 영향을 보여준다.

실험 결과

연구 질문

• RQ1 동일한 입력 데이터에 대해 다양한 소프트웨어 패키지가 다른 결과를 내는 이유는 무엇인가?
• RQ2 Ward의 방법이 원시 비유사도를 사용할 때 Ward 군집 기준을 최소화하기 위해 올바른 입력 형식(제곱 또는 비제곱 거리)은 무엇인가?
• RQ3 Ward1과 Ward2의 구현은 알고리즘적 구조와 최적화 행동에서 어떻게 다를까?
• RQ4 입력이 적절히 정렬되었을 때 왜 Ward1 기준 값의 제곱근이 Ward2 기준 값과 동일한가?
• RQ5 소프트웨어 개발자가 다양한 플랫폼과 라이브러리 간에 Ward의 방법을 일관되고 정확하게 구현하기 위해 어떻게 해야 할까?

주요 결과

• 원시 비유사도를 입력으로 사용할 경우 오직 Ward2의 구현만이 Ward 군집 기준을 정확히 최소화한다.
• Ward1의 구현은 동일한 군집 구조를 생성하기 위해 제곱 거리(D²)를 입력으로 필요로 한다.
• Ward1에 D²를, Ward2에 D를 적용할 경우, 두 방법 모두 동일한 군집 구조를 생성하며, Ward1의 노드 높이는 Ward2의 노드 높이의 제곱과 같다.
• Ward1의 출력 노드 높이에 제곱근을 취하면 Ward2의 노드 높이와 동일한 값을 얻을 수 있으며, 이는 다이어그램 수준을 직접 비교할 수 있도록 한다.
• Ward2를 사용할 경우, 노드 높이가 입력 비유사도 척도와 동일한 단위를 가지므로 공형성 상관계수가 더 직접적으로 해석 가능하다.
• R의 제약 군집 패키지 const.clust는 Ward1과 Ward2 옵션을 모두 제공하여, 두 구현 방식을 구분하는 것이 실용적 중요성을 지닌다는 것을 확인한다.