[논문 리뷰] CLAMS: A Cluster Ambiguity Measure for Estimating Perceptual Variability in Visual Clustering

Hyeon Jeon, Ghulam Jilani Quadri외 4명|arXiv (Cornell University)|2023. 08. 01.

Sensory Analysis and Statistical MethodsAgricultural and Biological Sciences인용 수 3

한 줄 요약

CLAMS는 인간의 시각적 군집 인식 변동성을 모델링하여 흑백 산점도에서 군집 모호성을 추정하는 데이터 기반 시각적 품질 측도이다. 사용자 연구를 통해 군집 간 구분 가능성에 영향을 주는 핵심 요소를 파악하고, 인간 평가 기반 군집 간 구분 가능성에 대한 회귀 모델을 학습한 후, 쌍별 점수를 집계하여 총괄적인 모호성 점수를 예측한다. 이는 군집 알고리즘을 능가하고 인간 평가자와 동등한 정확도를 보였다.

ABSTRACT

Visual clustering is a common perceptual task in scatterplots that supports diverse analytics tasks (e.g., cluster identification). However, even with the same scatterplot, the ways of perceiving clusters (i.e., conducting visual clustering) can differ due to the differences among individuals and ambiguous cluster boundaries. Although such perceptual variability casts doubt on the reliability of data analysis based on visual clustering, we lack a systematic way to efficiently assess this variability. In this research, we study perceptual variability in conducting visual clustering, which we call Cluster Ambiguity. To this end, we introduce CLAMS, a data-driven visual quality measure for automatically predicting cluster ambiguity in monochrome scatterplots. We first conduct a qualitative study to identify key factors that affect the visual separation of clusters (e.g., proximity or size difference between clusters). Based on study findings, we deploy a regression module that estimates the human-judged separability of two clusters. Then, CLAMS predicts cluster ambiguity by analyzing the aggregated results of all pairwise separability between clusters that are generated by the module. CLAMS outperforms widely-used clustering techniques in predicting ground truth cluster ambiguity. Meanwhile, CLAMS exhibits performance on par with human annotators. We conclude our work by presenting two applications for optimizing and benchmarking data mining techniques using CLAMS. The interactive demo of CLAMS is available at clusterambiguity.dev.

연구 동기 및 목표

• 모호한 군집 경계로 인해 발생하는 시각적 군집 인식 변동성에 대한 체계적인 평가 방법 부족 문제를 해결하기 위해.
• 비용이 많이 들는 인간 실험에 대한 대체로 확장 가능하고 정확하며 자동화된 방법을 개발하기 위해.
• 사용자 연구를 통해 도출된 인지적 요소에 기반해 모호성을 예측하는 시각적 품질 측도(CLAMS)를 개발하기 위해.
• 자동화된 모호성 추정을 통해 데이터 마이닝 기법의 최적화 및 벤치마킹을 가능하게 하기 위해.
• 군집화를 넘어서 시각화에서의 다른 인지 작업으로 모호성 개념을 일반화하기 위해.

제안 방법

• 산점도에서 군집 간 구분 가능성에 영향을 주는 핵심 요소(근접도, 밀도, 형태, 분포 등)를 파악하기 위해 정성적 사용자 연구를 수행하였다.
• 군집 쌍 간의 인간 평가 기반 구분 가능성 점수를 수집하여 인간의 인지적 구분 가능성 예측을 위한 회귀 모델을 학습시켰다.
• 학습된 회귀 모델을 사용하여 산점도 내 모든 군집 쌍에 대해 쌍별 구분 가능성 점수를 계산하는 CLAMS를 설계하였다.
• 간단한 평균을 통해 쌍별 구분 가능성 점수를 집계하여 전반적인 군집 모호성 점수를 도출하였다.
• 제거 실험을 통해 회귀 모델의 유효성을 검증하고, CLAMS의 성능을 군집 알고리즘 및 인간 평가자와 비교하였다.
• 시각적 인코딩(색상, 크기)과 계층적/중첩된 군집에 대한 일반화 가능성을 고려하여 프레임워크를 확장하였다.

실험 결과

연구 질문

• RQ1 산점도에서 인간의 군집 간 구분 가능성 판단에 가장 영향을 주는 인지적 요소는 무엇인가?
• RQ2 인간 평가자와 비교해 볼 때, 데이터 기반 모델이 군집 모호성을 얼마나 정확하게 예측할 수 있는가?
• RQ3 자동화된 시각적 품질 측도가 인지적 모호성 추정에서 표준 군집 알고리즘을 능가할 수 있는가?
• RQ4 쌍별 구분 가능성 점수의 집계 방식은 전반적인 군집 모호성과 어떻게 관련되는가?
• RQ5 CLAMS는 다양한 시각적 인코딩과 군집 구조 유형으로 일반화될 수 있는가?

주요 결과

• CLAMS는 지표로 사용된 군집 모호성 예측에서 널리 사용되는 군집 알고리즘을 능가하며, 뛰어난 정확도를 보였다.
• 사용자 연구 기반 설계 접근법을 통해 인간 인지 데이터를 기반으로 학습된 회귀 모듈이 뛰어난 성능을 보였다.
• CLAMS는 인간 평가자와 유사한 성능을 보였으며, CLAMS 순위와 인간 공감 순위 간 상관계수(ρ = 0.82)가 매우 높았다.
• 모든 개인 간에 인지적 모호성이 본질적으로 다양함을 드러내어, 집단 수준의 평가가 필요함을 시사하였다.
• CLAMS는 군집 수가 많은 산점도를 덜 모호하게 인식하는 경향을 보였으며, 이는 점수 집계 방식의 개선이 필요함을 시사하였다.
• 모호성 인식에 영향을 주는 단일 인지적 요소가 지배적이지 않음을 확인하여, 다중 요소 모델링의 필요성을 강조하였다.