[論文レビュー] CLAMS: A Cluster Ambiguity Measure for Estimating Perceptual Variability in Visual Clustering

Hyeon Jeon, Ghulam Jilani Quadri+4 more|arXiv (Cornell University)|Aug 1, 2023

Sensory Analysis and Statistical MethodsAgricultural and Biological Sciences被引用数 3

ひとこと要約

CLAMS は、人間の視覚的クラスタリングの知覚的ばらつきをモデル化することで、モノクロのちらつき図におけるクラスタのあいまいさを推定するデータ駆動型の視覚的品質指標である。ユーザー・スタディを通じて重要な分離要因を同定し、人間が与えたクラスタ分離度のスコアに基づいて回帰モデルを学習し、ペアワイズのスコアを統合して全体のあいまいさを予測する。この手法はクラスタリングアルゴリズムを上回り、人間のアノテーターと同等の正確性を示した。

ABSTRACT

Visual clustering is a common perceptual task in scatterplots that supports diverse analytics tasks (e.g., cluster identification). However, even with the same scatterplot, the ways of perceiving clusters (i.e., conducting visual clustering) can differ due to the differences among individuals and ambiguous cluster boundaries. Although such perceptual variability casts doubt on the reliability of data analysis based on visual clustering, we lack a systematic way to efficiently assess this variability. In this research, we study perceptual variability in conducting visual clustering, which we call Cluster Ambiguity. To this end, we introduce CLAMS, a data-driven visual quality measure for automatically predicting cluster ambiguity in monochrome scatterplots. We first conduct a qualitative study to identify key factors that affect the visual separation of clusters (e.g., proximity or size difference between clusters). Based on study findings, we deploy a regression module that estimates the human-judged separability of two clusters. Then, CLAMS predicts cluster ambiguity by analyzing the aggregated results of all pairwise separability between clusters that are generated by the module. CLAMS outperforms widely-used clustering techniques in predicting ground truth cluster ambiguity. Meanwhile, CLAMS exhibits performance on par with human annotators. We conclude our work by presenting two applications for optimizing and benchmarking data mining techniques using CLAMS. The interactive demo of CLAMS is available at clusterambiguity.dev.

研究の動機と目的

• 曇ったクラスタ境界による視覚的クラスタリングにおける知覚的ばらつきを系統立てて評価する手法の欠如に対処すること。
• 高コストな人間実験に代わるスケーラブルで正確かつ自動化されたクラスタのあいまいさ測定の代替手法を開発すること。
• ユーザー・スタディによって同定された知覚的要因に基づいて、あいまいさを予測する視覚的品質指標（CLAMS）を構築すること。
• 自動化されたあいまいさ推定を用いて、データマイニング手法の最適化とベンチマーク化を可能にすること。
• クラスタリングにとどまらず、視覚化における他の知覚的タスクへもあいまいさの概念を一般化すること。

提案手法

• 視覚的クラスタ分離度に影響を与える要因（距離、密度、形状、分布など）を特定するための定性的ユーザー・スタディを実施した。
• ペアワイズのクラスタに対して人間が与えた分離度スコアを収集し、知覚的分離度を予測する回帰モデルを学習した。
• 訓練済みの回帰モデルを用いて、ちらつき図内のすべてのクラスタ対についてペアワイズ分離度スコアを計算するCLAMSを設計した。
• 単純平均を用いてペアワイズ分離度スコアを統合し、グローバルなクラスタのあいまいさスコアを生成した。
• アブレーションスタディを通じて回帰モデルの妥当性を検証し、CLAMSの性能をクラスタリングアルゴリズムと人間のアノテーターと比較した。
• 視覚的エンコーディング（色、サイズ）および階層的／ネストされたクラスタをサポートするためのフレームワークの拡張を実施した。

実験結果

リサーチクエスチョン

• RQ1 ちらつき図における人間のクラスタ分離度判断に最も影響を与える知覚的要因は何か？
• RQ2 人間のアノテーターと比較して、データ駆動型モデルはクラスタのあいまいさをどの程度正確に予測できるか？
• RQ3 自動化された視覚的品質指標は、標準的なクラスタリングアルゴリズムを上回って知覚的あいまいさを推定できるか？
• RQ4 ペアワイズ分離度スコアの統合は、全体のクラスタのあいまいさをどの程度適切に反映しているか？
• RQ5 CLAMS は、異なる視覚的エンコーディングやクラスタトポロジーへどの程度一般化できるか？

主な発見

• CLAMS は、標準的なクラスタリング手法を上回り、真のクラスタのあいまいさを予測する上で優れた正確性を示した。
• 人間の知覚データに基づいて学習した回帰モジュールは優れた性能を示し、ユーザー・スタディに裏付けられた設計アプローチの有効性が裏付けられた。
• CLAMS は人間のアノテーターと同等の性能を示し、CLAMSの順位付けと人間のコンSENSUS順位付けとの間に強い相関（ρ = 0.82）が確認された。
• 知覚的あいまいさは個々の人に応じて本質的にばらつきを示すことが判明し、集団レベルでの評価の必要性が強調された。
• CLAMS は、クラスタ数が多いちらつき図を「あいまいさが低い」と過剰に評価するバイアスを示しており、スコア統合の改善が求められることが示された。
• どの1つの知覚的要因もあいまいさ認識を支配するわけではないことが確認され、複数要因を統合するモデルの必要性が浮き彫りになった。