[论文解读] Adding Semantic Information into Data Models by Learning Domain Expertise from User Interaction

Nathan O. Hodas, Alex Endert|arXiv (Cornell University)|Apr 6, 2016

Data Visualization and Analytics参考文献 4被引用 8

一句话总结

本文提出 ActiveCanvas，一种视觉分析系统，通过推断用户对数据项空间排列的心理模型，从用户交互中学习语义特征。通过使用信息论优化方法来精炼图像位置并提取用户定义的语义维度，该系统生成新的、具有语义意义的特征，从而提升图像分类性能并加速认知理解过程，用户可在90秒内实现有意义的聚类。

ABSTRACT

Interactive visual analytic systems enable users to discover insights from complex data. Users can express and test hypotheses via user interaction, leveraging their domain expertise and prior knowledge to guide and steer the analytic models in the system. For example, semantic interaction techniques enable systems to learn from the user's interactions and steer the underlying analytic models based on the user's analytical reasoning. However, an open challenge is how to not only steer models based on the dimensions or features of the data, but how to add dimensions or attributes to the data based on the domain expertise of the user. In this paper, we present a technique for inferring and appending dimensions onto the dataset based on the prior expertise of the user expressed via user interactions. Our technique enables users to directly manipulate a spatial organization of data, from which both the dimensions of the data are weighted, and also dimensions created to represent the prior knowledge the user brings to the system. We describe this technique and demonstrate its utility via a use case.

研究动机与目标

• 解决如何将用户领域专业知识融入现有特征空间之外的数据模型的挑战。
• 使视觉分析系统能够推断并附加基于用户交互过程中隐含心理模型的新语义维度。
• 通过利用集体用户提供的空间排列作为可学习特征，加速认知理解与分类过程。
• 探索如何将用户生成的空间布局转化为可重用的、具有语义意义的数据特征。

提出的方法

• 系统使用二维画布，用户根据其心理模型排列图像，通过空间邻近性隐式编码领域专业知识。
• ActiveCanvas 应用信息论优化方法，以最大化用户排列位置与底层数据特征之间的互信息。
• 采用 RBF-SVM 根据已处理项的优化位置预测未触碰图像的位置。
• 系统通过用户反馈迭代优化排列，提升与用户潜在心理模型的一致性。
• 最终用户排列被确认为新的语义特征，扩展数据模型以包含用户推导出的维度。
• 系统支持主动用户与被动用户，其中“懒惰”用户可受益于先前用户标记的空间排列。

实验结果

研究问题

• RQ1 视觉分析系统如何推断并编码原始数据特征中不存在的语义维度？
• RQ2 用户在画布上的空间排列在多大程度上能够反映并保留特定领域的心理模型？
• RQ3 信息论方法在多大程度上能有效优化图像位置，使其与用户定义的语义关系对齐？
• RQ4 用户生成的空间特征在不同用户和任务之间的可扩展性与可重用性如何？

主要发现

• 用户使用 ActiveCanvas 在90秒内完成了20张图像的有意义聚类，展示了快速的认知理解能力。
• 系统成功从用户的空间排列中推断出如“动物”、“户外”和“浅色背景”等语义维度。
• 互信息最大化使系统能够优化图像位置，更准确地反映用户的潜在心理模型。
• 用户提供的空间排列被成功转换为未来分类任务中可重用的语义特征。
• 系统对用户输入的不精确性具有鲁棒性，使新用户能够从先前用户标记的排列中受益。