[论文解读] An Aggregation-Based Overall Quality Measurement for Visualization

Weidong Huang|arXiv (Cornell University)|Jun 11, 2013

Data Visualization and Analytics参考文献 12被引用 3

一句话总结

本文提出了一种基于聚合的整体图可视化质量度量方法，将边缘交叉、对称性、边长均匀性等个别美学标准整合为一个加权z得分指数。该方法在用户研究中表现出强大的预测效度，与人类理解性能显著相关（β = 0.717），且在检测细微质量差异方面优于基于任务的度量指标。

ABSTRACT

Aesthetics are often used to evaluate the quality of graph drawings. However, the existing aesthetic criteria are useful in judging the extents to which a drawing conforms to particular drawing rules. They have limitations in evaluating overall quality. Currently the overall quality of graph drawings is mainly evaluated based on personal judgments and user studies. Personal judgments are not reliable, while user studies can be costly to run. Therefore, there is a need for a direct measure of overall quality. This measure can be used by visualization designers to quickly compare the quality of drawings at hand at the design stage and make decisions accordingly. In an attempt to meet this need, we propose a measure that measures overall quality based on aggregation of individual aesthetic criteria. We present a user study that validates this measure and demonstrates its capacity in predicting the performance of human graph comprehension. The implications of the proposed measure for future research are discussed.

研究动机与目标

• 解决设计阶段图可视化整体质量评估缺乏可靠、客观度量方法的问题。
• 克服主观个人判断和高成本用户研究在评估可视化质量方面的局限性。
• 开发一种统一的、计算衍生的度量指标，将多种美学标准整合为单一的整体质量得分。
• 验证所提度量指标在预测人类在图理解任务中表现方面的能力。
• 证明该度量指标在检测质量差异方面比传统基于性能的度量指标更敏感。

提出的方法

• 相对于基线或分布，计算各项美学标准（如边缘交叉、对称性、边长均匀性）的z得分。
• 通过加权或非加权平均，将多个美学标准的z得分聚合为单一的整体质量得分。
• 在受控用户研究中，将整体质量度量应用于不同图布局在多种条件下的比较。
• 使用回归分析检验整体质量得分对人类表现指标（时间、努力、效率）的预测能力。
• 通过比较该度量指标与传统性能度量指标在检测布局间差异方面的能力，验证其敏感性。
• 采用统计检验（如方差分析、事后成对比较）评估表现和质量得分差异的显著性。

实验结果

研究问题

• RQ1 基于聚合的整体质量度量能否有效捕捉超越单一美学标准的整体图可视化质量？
• RQ2 所提出的整体质量度量在预测人类在图理解任务中的表现方面效果如何？
• RQ3 与传统基于性能的度量（如响应时间与努力程度）相比，所提度量是否对质量差异更敏感？
• RQ4 整体质量度量与用户效率和任务表现的相关程度如何？
• RQ5 当应用于不同布局算法和图类型时，该度量是否仍保持有效性？

主要发现

• 所提整体质量度量与人类理解效率呈显著正相关（β = 0.717，p < 0.001），表明其具有强大的预测能力。
• 与基于性能的度量相比，该度量在检测布局间质量差异方面更有效，表现为事后检验中更多显著的成对比较。
• 表现度量（时间、努力、效率）存在显著总体差异，但准确率无显著差异，表明任务合规且测量条件有效。
• 效率的总体回归模型具有统计显著性（F(1,28) = 29.625，p < 0.001），支持模型的有效性。
• 该度量在检测细微质量差异方面优于传统性能度量，表明其是布局质量更可靠的指标。
• 研究证实，聚合z得分方法提供了一种有效、计算高效且基于实证的替代方案，可替代高成本的用户研究，用于早期可视化评估。