[论文解读] An Evaluation-Focused Framework for Visualization Recommendation Algorithms

Zehua Zeng, Phoebe Moh+6 more|arXiv (Cornell University)|Sep 6, 2021

Data Visualization and Analytics参考文献 37被引用 4

一句话总结

本文提出一种以评估为导向的框架，通过将完整的设计空间建模为图结构、定义遍历策略，并使用评估器对候选方案进行排序，系统性地比较可视化推荐算法。该框架支持理论与实证评估，揭示遍历方法（BFS 与 DFS）和评估器选择（Dziban 与 CompassQL）显著影响用户偏好及对可视化设计的暴露程度，尽管并不总是影响用户表现。

ABSTRACT

Although we have seen a proliferation of algorithms for recommending visualizations, these algorithms are rarely compared with one another, making it difficult to ascertain which algorithm is best for a given visual analysis scenario. Though several formal frameworks have been proposed in response, we believe this issue persists because visualization recommendation algorithms are inadequately specified from an evaluation perspective. In this paper, we propose an evaluation-focused framework to contextualize and compare a broad range of visualization recommendation algorithms. We present the structure of our framework, where algorithms are specified using three components: (1) a graph representing the full space of possible visualization designs, (2) the method used to traverse the graph for potential candidates for recommendation, and (3) an oracle used to rank candidate designs. To demonstrate how our framework guides the formal comparison of algorithmic performance, we not only theoretically compare five existing representative recommendation algorithms, but also empirically compare four new algorithms generated based on our findings from the theoretical comparison. Our results show that these algorithms behave similarly in terms of user performance, highlighting the need for more rigorous formal comparisons of recommendation algorithms to further clarify their benefits in various analysis scenarios.

研究动机与目标

• 为解决可视化推荐算法缺乏标准化评估的问题，该问题阻碍了公平比较与选择。
• 开发一个正式框架，通过三个组件（设计空间图、遍历方法、排序评估器）明确定义算法。
• 支持在不同可视化分析任务中对算法性能进行理论比较与实证评估。
• 探究算法选择如何影响用户表现、交互行为及偏好。
• 提供一个可复用、开源的评估基础设施，以支持未来算法的开发与基准测试。

提出的方法

• 将可视化完整的设计空间建模为图，其中节点代表可视化设计，边代表它们之间的转换关系。
• 定义遍历策略（如 BFS、DFS），从给定起点系统性地探索候选可视化方案。
• 使用评估器（如 CompassQL、Dziban）根据统计有趣性或感知距离等标准对候选可视化方案进行排序。
• 开展一项被试间用户研究，共 24 名参与者，每人接触一种算法变体，以测量其在聚焦任务与开放式任务中的表现。
• 采用贝叶斯统计分析比较用户表现，使用 95% 可信区间评估不同算法对之间差异的显著性。
• 通过 OSF 仓库共享源代码与演示视频，以确保可复现性并促进未来评估。

实验结果

研究问题

• RQ1 不同遍历策略（BFS 与 DFS）如何影响用户所接触的可视化设计多样性与数据变体？
• RQ2 不同排序评估器（CompassQL 与 Dziban）如何影响用户在可视化分析任务中的表现与偏好？
• RQ3 算法选择在多大程度上影响用户交互行为与数据探索中的感知效用？
• RQ4 标准化评估框架在多大程度上能实现对可视化推荐算法更严格且可比较的评估？
• RQ5 用户偏好与表现如何随可视化分析任务类型（聚焦型与开放式）而变化？

主要发现

• BFS 遍历相比 DFS 显著暴露了更多独特的变量组合与可视化设计，尤其在结合 Dziban 作为评估器时更为明显。
• 用户在实用性与易用性方面显著偏好 BFS 背景下的算法，尽管在任务表现上未发现显著差异。
• 在所有用户评分指标（效率、实用性、易用性、总体）中，Dziban 均优于 CompassQL，但差异未达统计显著性。
• Dziban 在暴露更多可视化设计与数据变体方面优于 CompassQL，尤其在开放式任务中表现更优，表明其具有更强的探索支持能力。
• 尽管 Dziban 在感知排序方面表现更优，但在聚焦任务中，其与 CompassQL 在用户表现上无显著差异。
• 用户偏好因任务类型而异，表明单一算法无法在所有分析场景中表现最优，任务特定的算法选择可能更为必要。