[논문 리뷰] HCMapper: An interactive visualization tool to compare partition-based flat clustering extracted from pairs of dendrograms

Gautier Marti, Philippe Donnat외 2명|arXiv (Cornell University)|2015. 07. 29.

Data Visualization and Analytics참고 문헌 25인용 수 4

한 줄 요약

HCMapper는 계층적 군집화에서 유도된 계층적 구조를 비교하기 위해 상호작용 가능한 시각화 도구로, 분할 기반의 층화된 구조를 서로 인접하게 배치하고, 불일치를 강조하기 위해 명시적인 간선 인코딩을 사용하여 이중의 계층적 군집화를 비교한다. 이는 특히 이질적인 군집, 특히 이질점들을 빠르게 탐지할 수 있도록 해주며, 상관관계 모델과 상관관계+분포 모델 간의 차이를 재무 시계열 분석에서 확인할 수 있다. 이는 몇몇 자산만이 이질적인 행동을 보이며, 이는 주로 분포의 영향을 받기 때문이다.

ABSTRACT

We describe a new visualization tool, dubbed HCMapper, that visually helps to compare a pair of dendrograms computed on the same dataset by displaying multiscale partition-based layered structures. The dendrograms are obtained by hierarchical clustering techniques whose output reflects some hypothesis on the data and HCMapper is specifically designed to grasp at first glance both whether the two compared hypotheses broadly agree and the data points on which they do not concur. Leveraging juxtaposition and explicit encodings, HCMapper focus on two selected partitions while displaying coarser ones in context areas for understanding multiscale structure and eventually switching the selected partitions. HCMapper utility is shown through the example of testing whether the prices of credit default swap financial time series only undergo correlation. This use case is detailed in the supplementary material as well as experiments with code on toy-datasets for reproducible research. HCMapper is currently released as a visualization tool on the DataGrapple time series and clustering analysis platorm at www.datagrapple.com.

연구 동기 및 목표

• 동일한 데이터셋에서 유도된 여러 계층적 군집화를 시각적으로 비교하는 데 도전하는 데 목적이 있다. 특히 데이터 구조에 대한 가설이 다를 경우에 유의미한 비교를 제공한다.
• 사용자들이 두 군집 모델 간의 불일치를 직관적이고 상호작용 가능한 방식으로 강조할 수 있도록 도와주며, 특히 개별 데이터 포인트나 군집 수준에서의 불일치를 중심으로 한다.
• 접근법을 결합함으로써 계층적 군집화 결과의 해석 가능성을 향상시키기 위해 대조 배치, 명시적 간선 인코딩, 집중+맥락 시각화 전략을 통합한다.
• 재무 분야와 같은 도메인에서 모델 검증을 지원하며, 군집화가 상관관계에 기반하는지, 또는 추가적인 요소(예: 분포)에 의해 영향을 받는지 이해하는 것이 핵심일 때 유용하다.
• 군집화에서의 특이점이나 이질점을 탐지할 수 있도록 하여, 유동성 부족이나 무거운 尾部 수익률과 같은 특수한 데이터 행동을 경고할 수 있다.

제안 방법

• HCMapper는 두 개의 계층적 구조를 다층적 분할 구조로 변환하여 다양한 척도에서 군집을 표현한다.
• 두 개의 선택된 분할을 인접한 레이아웃으로 표시함으로써, 더 넓은 척도를 이해하기 위해 더 굵은 분할은 맥락 영역에 표시된다.
• 두 분할 간의 군집 할당 불일치를 강조하기 위해 명시적인 발산 간선을 사용하여, 군집 할당이 일치하지 않는 데이터 포인트를 빠르게 시각적으로 파악할 수 있도록 한다.
• 툴팁을 통해 불일치하는 데이터 포인트의 정체를 확인할 수 있도록 상호작용 기능을 제공하며, 예를 들어 특정 재무 자산의 정보를 즉각적으로 확인할 수 있다.
• 대조 배치, 명시적 인코딩, 집중+맥락 전략을 융합한 하이브리드 시각화 전략을 활용하여 계층적 군집의 차이를 더 잘 이해할 수 있도록 한다.
• 구현은 DataGrapple 플랫폼에 통합되어 있으며, 실제 재무 시계열 데이터에 대한 코드와 활용 사례를 제공함으로써 재현 가능한 연구를 지원한다.

실험 결과

연구 질문

• RQ1 동일한 데이터셋에서 유도된 두 개의 계층적 군집화를 비교할 때, 데이터 구조에 대한 가설이 다를 경우 사용자들이 효과적으로 비교할 수 있는 방법은 무엇인가?
• RQ2 분할 기반 군집화 간의 불일치를 탐지하는 데 가장 효과적인 시각적 설계 패턴은 무엇인가? 이는 직관적이면서도 확장 가능한 방식이어야 한다.
• RQ3 층화된, 인접한 레이아웃에서의 명시적 간선 인코딩이 두 모델 간에 일관되지 않은 방식으로 군집화된 이질점 데이터 포인트를 탐지하는 데 얼마나 기여하는가?
• RQ4 이러한 시각화 도구가 상관관계와 분포에 대한 가정이 중요한 고위험 도메인, 예를 들어 정량적 금융 분야에서 모델 검증을 얼마나 잘 지원할 수 있는가?
• RQ5 HCMapper는 전통적인 tanglegram에 비해 계층적 군집화 간의 구조적 불일치를 어떻게 더 잘 드러내는가?

주요 결과

• HCMapper는 불일치하는 간선을 효과적으로 강조함으로써, 특히 상관관계 전용 모델에서 'America' 군집이 상관관계+분포 모델에서 빨간색 군집으로 연결되는 유일한 간선을 드러내어 잠재적인 이질점임을 확인한다.
• 이 불일치 간선은 리오 티노와 AT&T라는 두 개의 미국 기업을 포함하며, 이들은 고품질 유럽 정부 채권과 함께 군집화되어 있어, 이들이 유동성 부족이나 중량 꼬리 수익률 분포의 특성을 공유하고 있음을 시사한다.
• 시각화 결과에 따르면, 대부분의 군집이 두 가설 간에 일대일 대응을 이루고 있어, 주가 시계열 군집화에서 상관관계가 주요 기여 요소임을 확인할 수 있다.
• 보조 자료 및 그림 4에 따르면, tanglegram에 비해 HCMapper는 더 직관적이고 더 신속하게 구조적 불일치를 탐지할 수 있는 길을 제공한다.
• HCMapper의 시간 복잡도는 O(n²log n + V³)이며, 중간 크기의 데이터셋에는 적합하지만 매우 큰 데이터셋이나 매우 복잡한 시각화 그래프에는 확장성이 떨어진다.
• HCMapper는 DataGrapple 플랫폼에서 공개되어 있으며, 오픈소스 코드와 활용 사례를 제공함으로써 재무 및 생물학적 군집 분석 분야에서 재현 가능한 연구를 지원한다.