[论文解读] CLAMS: A Cluster Ambiguity Measure for Estimating Perceptual Variability in Visual Clustering

Hyeon Jeon, Ghulam Jilani Quadri+4 more|arXiv (Cornell University)|Aug 1, 2023

Sensory Analysis and Statistical MethodsAgricultural and Biological Sciences被引用 3

一句话总结

CLAMS 是一种数据驱动的视觉质量度量方法，通过建模人类在视觉聚类中的感知变异性来估计灰度散点图中的聚类模糊性。它通过用户研究识别关键可分性因素，基于人类判断的聚类可分性训练回归模型，并聚合成对得分以预测整体模糊性——其性能优于聚类算法，并在准确性上与人类标注者相当。

ABSTRACT

Visual clustering is a common perceptual task in scatterplots that supports diverse analytics tasks (e.g., cluster identification). However, even with the same scatterplot, the ways of perceiving clusters (i.e., conducting visual clustering) can differ due to the differences among individuals and ambiguous cluster boundaries. Although such perceptual variability casts doubt on the reliability of data analysis based on visual clustering, we lack a systematic way to efficiently assess this variability. In this research, we study perceptual variability in conducting visual clustering, which we call Cluster Ambiguity. To this end, we introduce CLAMS, a data-driven visual quality measure for automatically predicting cluster ambiguity in monochrome scatterplots. We first conduct a qualitative study to identify key factors that affect the visual separation of clusters (e.g., proximity or size difference between clusters). Based on study findings, we deploy a regression module that estimates the human-judged separability of two clusters. Then, CLAMS predicts cluster ambiguity by analyzing the aggregated results of all pairwise separability between clusters that are generated by the module. CLAMS outperforms widely-used clustering techniques in predicting ground truth cluster ambiguity. Meanwhile, CLAMS exhibits performance on par with human annotators. We conclude our work by presenting two applications for optimizing and benchmarking data mining techniques using CLAMS. The interactive demo of CLAMS is available at clusterambiguity.dev.

研究动机与目标

• 为解决由于聚类边界模糊而导致视觉聚类感知变异性缺乏系统性评估方法的问题。
• 开发一种可扩展、准确且自动化的替代方案，以替代成本高昂的人类实验，用于测量聚类模糊性。
• 创建一种视觉质量度量（CLAMS），基于用户研究识别出的感知因素预测模糊性。
• 通过自动模糊性估计实现数据挖掘技术的优化与基准测试。
• 将模糊性的概念推广至聚类之外的其他可视化感知任务。

提出的方法

• 开展定性用户研究，识别影响聚类可分性的关键因素，如接近度、密度、形状和分布。
• 收集人类对成对聚类可分性的判断得分，以训练预测感知可分性的回归模型。
• 设计 CLAMS，利用训练好的回归模型计算散点图中所有聚类对的成对可分性得分。
• 通过简单平均聚合成对可分性得分，生成全局聚类模糊性得分。
• 通过消融研究验证回归模型，并将 CLAMS 的性能与聚类算法及人类标注者进行比较。
• 扩展框架以支持潜在推广至视觉编码（颜色、大小）和分层/嵌套聚类。

实验结果

研究问题

• RQ1 哪些感知因素最影响人类在散点图中对聚类可分性的判断？
• RQ2 与人类标注者相比，数据驱动模型在预测聚类模糊性方面的准确性如何？
• RQ3 自动化视觉质量度量能否在估计感知模糊性方面优于标准聚类算法？
• RQ4 成对可分性得分的聚合如何反映整体聚类模糊性？
• RQ5 CLAMS 在多大程度上可推广至不同的视觉编码和聚类拓扑结构？

主要发现

• CLAMS 在预测真实聚类模糊性方面优于广泛使用的聚类技术，表现出更高的准确性。
• 基于人类感知数据训练的回归模块表现强劲，验证了以用户研究为导向的设计方法。
• CLAMS 的性能与人类标注者相当，CLAMS 排名与人类共识排名之间的皮尔逊相关系数（ρ = 0.82）很高。
• 该方法揭示了感知模糊性在个体间存在固有变异性，凸显了进行群体层面评估的必要性。
• CLAMS 倾向于将具有更多聚类的散点图视为模糊性更低，表明在得分聚合方面仍需改进。
• 研究证实，没有单一感知因素主导模糊性感知，强调了多因素建模的必要性。