[论文解读] Communicating Data Quality in On-Demand Curation

Poonam Kumari, Said Achmiz+1 more|arXiv (Cornell University)|Jun 7, 2016

Advanced Database Systems and Queries参考文献 15被引用 5

一句话总结

本文评估了四种用于在按需整理系统中传达属性级数据不确定性的用户界面表现形式，发现尽管不同格式的认知负荷相似，但视觉设计显著影响用户的理解、情绪反应和决策行为。本研究为概率数据库的用户界面设计建立了基础准则，以提升在低质量数据环境下的信任度与可用性。

ABSTRACT

On-demand curation (ODC) tools like Paygo, KATARA, and Mimir allow users to defer expensive curation effort until it is necessary. In contrast to classical databases that do not respond to queries over potentially erroneous data, ODC systems instead answer with guesses or approximations. The quality and scope of these guesses may vary and it is critical that an ODC system be able to communicate this information to an end-user. The central contribution of this paper is a preliminary user study evaluating the cognitive burden and expressiveness of four representations of "attribute-level" uncertainty. The study shows (1) insignificant differences in time taken for users to interpret the four types of uncertainty tested, and (2) that different presentations of uncertainty change the way people interpret and react to data. Ultimately, we show that a set of UI design guidelines and best practices for conveying uncertainty will be necessary for ODC tools to be effective. This paper represents the first step towards establishing such guidelines.

研究动机与目标

• 调查不同属性级不确定性的视觉表现形式如何影响用户在按需整理系统中的理解与决策行为。
• 评估用户在解释概率数据库输出中各种不确定性表现形式时所承受的认知负担。
• 识别出能有效传达数据质量而不使用户感到负担的设计模式。
• 为概率数据库和按需整理工具建立初步的用户界面设计准则，以提升用户信任度与结果可靠性。

提出的方法

• 在纽约州立大学布法罗分校计算机科学与工程系招募了14名参与者开展用户研究。
• 评估了四种不同的属性级不确定性视觉表现形式：红色背景、置信区间、星号标记和确定性数值。
• 通过测量用户解读和基于不确定评分对产品进行排序所花费的时间，评估认知负担。
• 通过口头思维过程收集定性反馈，分析用户感知、情绪反应和推理策略。
• 分析用户对不确定性的行为反应，包括风险规避、对一致来源的依赖性以及对额外信息的请求。
• 结合定量（任务耗时）和定性（口头反馈）方法，比较每种表现形式的效率与心理影响。

实验结果

研究问题

• RQ1 不确定性表现形式的选择如何影响用户解读和应对不确定数据所花费的时间？
• RQ2 不同视觉形式的不确定性如何影响用户的情绪反应和对数据可靠性的感知？
• RQ3 用户在多大程度上会根据所呈现的不确定性形式调整其决策策略？
• RQ4 哪种不确定性表现形式最能有效支持用户在不确定情况下的准确且一致的判断？
• RQ5 用户在解读不确定数据时，其风险规避行为如何表现？这些表现形式如何塑造此类行为？

主要发现

• 四种不确定性表现形式之间在认知负担上无显著差异，任务完成时间相对一致。
• 参与者对红色背景表现形式表现出强烈的情绪反应，部分人表示恐惧或惊讶，表明其具有较高的心理影响。
• 许多用户忽略了带有红色背景的数值，即使这些数值属于一致的评分模式，表明视觉显著性可能扭曲决策过程。
• 用户更偏好能提供额外上下文的表示形式，如置信区间，这类形式与舒适感和清晰感相关。
• 大量参与者在看到星号表示形式时请求更多信息，表明该形式可能被解读为严重性较低或不确定性较不重要。
• 用户常采用风险规避策略，倾向于选择一致的评分并避开不确定数值——但当不确定数值较低时，他们则倾向于认为真实值可能更高。