[论文解读] Analytic Provenance Datasets: A Data Repository of Human Analysis Activity and Interaction Logs

Sina Mohseni, Andrew Pachuilo+4 more|arXiv (Cornell University)|Jan 16, 2018

Data Visualization and Analytics参考文献 4被引用 4

一句话总结

本文介绍了一个公开可用的、高保真的分析溯源数据仓库，记录了在文本和网络安全部分析任务的用户研究中，人类分析活动、交互日志、思考 aloud 协议以及眼动追踪数据。该数据集通过提供经过编码的分析会话真实情况及详细的交互日志，使研究人员能够研究和建模人类分析推理过程，支持探索性数据分析中用户行为分析工具的开发与评估。

ABSTRACT

We present an analytic provenance data repository that can be used to study human analysis activity, thought processes, and software interaction with visual analysis tools during exploratory data analysis. We conducted a series of user studies involving exploratory data analysis scenario with textual and cyber security data. Interactions logs, think-alouds, videos and all coded data in this study are available online for research purposes. Analysis sessions are segmented in multiple sub-task steps based on user think-alouds, video and audios captured during the studies. These analytic provenance datasets can be used for research involving tools and techniques for analyzing interaction logs and analysis history. By providing high-quality coded data along with interaction logs, it is possible to compare algorithmic data processing techniques to the ground-truth records of analysis history.

研究动机与目标

• 创建一个全面的、公开可访问的人类分析溯源数据仓库，用于探索性数据分析研究。
• 在真实世界分析任务中，捕获并编码详细的用户交互日志，包括鼠标操作、眼动追踪以及口头思考过程。
• 提供分析推理过程的真实记录，以支持算法分析和交互日志处理技术的验证。
• 支持开发能够建模、解释或增强数据可视化与分析中人类分析工作流的工具。
• 支持人类分析策略与自动化数据处理或推荐系统之间的对比研究。

提出的方法

• 在两种数据类型上使用标准化的可视化分析工具开展用户研究：来自 VAST 挑战数据集的文本情报和多维网络安全数据。
• 在 90 分钟的会话中，通过 Tobii EyeX 收集多模态数据，包括屏幕录制、音频思考 aloud、鼠标追踪和眼动追踪。
• 通过口头评论、视觉焦点和交互模式，分析并编码用户会话，以识别关键点——即主题或策略转变的时刻。
• 基于主题变化、策略转变以及用户报告的注意力转移，将分析会话划分为子任务。
• 生成完全匿名化、带时间戳的转录文本和日志，并附有用户操作、凝视固定点和交互事件的详细元数据。
• 所有数据，包括视频、日志、工具和转录文本，均在线托管于 https://research.arch.tamu.edu/analytic-provenance/，供公众研究使用。

实验结果

研究问题

• RQ1 在开放式探索性数据分析任务中，分析人员如何在不同焦点和策略之间转换？
• RQ2 交互日志和眼动追踪数据中存在哪些模式，与分析思维或洞察生成的有意义变化相对应？
• RQ3 如何利用多模态数据可靠地检测和标注分析工作流中的关键点？
• RQ4 用户交互日志与口头思考 aloud 在多大程度上一致地反映分析推理的进展？
• RQ5 人类分析的溯源数据在多大程度上可用于评估和改进自动化分析工具或推荐系统？

主要发现

• 文本分析部分有 24 名参与者，网络安全分析部分也有 24 名参与者，每场会话均包含完整的多模态日志和编码的关键点。
• 通过口头思考 aloud、凝视固定模式以及交互行为转变（如从概览视图切换到详细视图或更换搜索关键词）的结合，可靠地识别出关键点。
• 参与者经常在没有明确口头提示的情况下改变主题，凸显了行为和视觉线索在检测分析转换中的重要性。
• 使用思考 aloud 协议使得分析推理过程得以准确转录，所有会话中均记录了带时间戳的洞察和主题变化。
• 眼动追踪和鼠标交互日志揭示了不同分析阶段的显著行为模式，如专注阅读、模式搜索和导航。
• 该数据集支持将算法处理的交互日志与真实的人类分析历史进行直接比较，从而验证分析建模技术。