[论文解读] Human Factors Influencing Visual Statistical Inference

Mahbubul Majumder, Heike Hofmann+1 more|arXiv (Cornell University)|Aug 8, 2014

Data Visualization and Analytics参考文献 5被引用 5

一句话总结

本研究探讨了在使用队列法进行视觉统计推断时，人类因素的影响，其中观察者需从零假设图中识别出实际数据图。结果显示，尽管个体能力存在差异，但人口统计学特征影响甚微；图的位置和零假设集合的选择对检测率无显著影响，支持了队列法在实际数据分析中的稳健性。

ABSTRACT

Visual statistical inference is a way to determine significance of patterns found while exploring data. It is dependent on the evaluation of a lineup, of a data plot among a sample of null plots, by human observers. Each individual is different in their cognitive psychology and judiciousness, which can affect the visual inference. The usual way to estimate the effectiveness of a statistical test is its power. The estimate of power of a lineup can be controlled by combining evaluations from multiple observers. Factors that may also affect the power of visual inference are the observers' demographics, visual skills, and experience, the sample of null plots taken from the null distribution, the position of the data plot in the lineup, and the signal strength in the data. This paper examines these factors. Results from multiple visual inference studies using Amazon's Mechanical Turk are examined to provide an assessment of these. The experiments suggest that individual skills vary substantially, but demographics do not have a huge effect on performance. There is evidence that a learning effect exists but only in that observers get faster with repeated evaluations, but not more often correct. The placement of data plot in the lineup does not affect the inference.

研究动机与目标

• 评估人口统计学、视觉技能和经验等人类因素如何影响使用队列法进行视觉统计推断的表现。
• 评估实际数据图在队列中的位置是否会影响检测准确率。
• 研究信号强度和零假设分布抽样对推断效能的影响。
• 确定观察者在重复评估中是否有所提高，以判断是否存在学习效应。
• 验证队列法在不同人类观察者和实验条件下的稳健性。

提出的方法

• 通过亚马逊机械土耳其机器人（Amazon Mechanical Turk）开展多项视觉推断实验，参与者评估包含20张图的队列（1张实际数据图，19张零假设图）。
• 通过在零假设下模拟数据并使用已知的误差范围（例如，民意调查数据的±2.5）生成零假设图。
• 使用修正的二项分布并考虑依赖性进行调整，基于正确识别的数量计算p值。
• 采用多元方差分析（MANOVA）结合威尔克斯检验（Wilks' test），评估图的位置、零假设集合和人口统计学变量对检测率的影响是否具有显著性。
• 分析重复试验中的表现趋势，以检测随时间推移是否存在学习效应。
• 比较不同零假设集合和图位置的检测率，以评估系统性偏差。

实验结果

研究问题

• RQ1 观察者的人口统计学特征（年龄、性别、国家、教育程度）如何影响视觉统计推断中的检测准确率？
• RQ2 实际数据图在队列中的位置是否会影响正确识别的可能性？
• RQ3 当观察者完成多次队列评估时，是否存在可测量的学习效应？
• RQ4 零假设集合和信号强度的变化如何影响检测表现？
• RQ5 个体视觉技能的差异在多大程度上影响视觉推断的可靠性？

主要发现

• 年龄（36–40岁）、非印度/美国国籍以及研究生教育程度与略高的检测率相关，但差异极小（仅几个百分点）。
• 性别对检测表现无统计学显著影响。
• 实际数据图在队列中的位置对检测准确率无显著影响，支持随机放置的合理性。
• 观察者在反应时间上表现出学习效应，但准确率未提高，表明判断能力未随时间改善。
• 零假设集合的选择仅对一个特定集合（交互队列中的零假设集合3）有轻微但统计显著的影响，总体影响可忽略。
• 总体检测率在各种条件下均表现稳健，图的位置或零假设集合变化均未产生系统性偏差，证实了该方法的可靠性。