[论文解读] FEDEX: An Explainability Framework for Data Exploration Steps

Daniel Deutch, Amir Gilad+3 more|arXiv (Cornell University)|Sep 13, 2022

Data Visualization and Analytics被引用 5

一句话总结

FEDEX 是一种新颖的可解释性框架，通过用户自定义或基于文献的有趣性度量，识别并解释为何特定的数据探索操作被认为具有意义。它引入了一种可扩展的优化策略（sysopt），在解释质量和效率方面达到或超过基线水平，经由用户研究和在真实数据集上的广泛实验得到验证。

ABSTRACT

When exploring a new dataset, Data Scientists often apply analysis queries, look for insights in the resulting dataframe, and repeat to apply further queries. We propose in this paper a novel solution that assists data scientists in this laborious process. In a nutshell, our solution pinpoints the most interesting (sets of) rows in each obtained dataframe. Uniquely, our definition of interest is based on the contribution of each row to the interestingness of different columns of the entire dataframe, which, in turn, is defined using standard measures such as diversity and exceptionality. Intuitively, interesting rows are ones that explain why (some column of) the analysis query result is interesting as a whole. Rows are correlated in their contribution and so the interesting score for a set of rows may not be directly computed based on that of individual rows. We address the resulting computational challenge by restricting attention to semantically-related sets, based on multiple notions of semantic relatedness; these sets serve as more informative explanations. Our experimental study across multiple real-world datasets shows the usefulness of our system in various scenarios.

研究动机与目标

• 通过聚焦于解释用户操作为何被认为有趣，而非仅推荐操作，填补可解释性数据探索中的空白。
• 提供一种解释有趣性背后原因的框架，解决定义和度量此类解释的挑战。
• 通过为用户操作和推荐操作生成解释，实现与现有 EDA 工具的集成。
• 通过基于先前研究的可扩展、用户自定义的有趣性度量，支持框架的泛化能力。
• 通过在真实世界数据集上的严格评估，证明框架的可扩展性和高质量解释。

提出的方法

• 提出一项新任务：解释用户驱动的数据探索操作为何有趣，该任务与查询解释或模式检测任务相区别。
• 基于先前工作的原则（如意外性、最大集合、可视化推荐）定义有趣性，确保理论和实践上的坚实基础。
• 实现一种可扩展的优化引擎（sysopt），通过采样和剪枝潜在解释的搜索空间，高效计算解释。
• 通过模块化框架支持用户自定义有趣性度量，实现对特定领域需求的定制化。
• 通过为用户操作和推荐视图生成人类可读、连贯的解释，实现与现有 EDA 系统的集成。
• 使用合成数据集和真实世界数据集（如 Spotify、信用卡、产品）评估性能和准确性，覆盖不同数据规模和列数。

实验结果

研究问题

• RQ1 我们如何定义并计算某个给定数据探索操作为何被认为有趣的解释？
• RQ2 在 EDA 中生成有意义、连贯且高效的有趣性解释时，面临哪些关键挑战？
• RQ3 所提出的框架在数据规模和维度增加时的可扩展性如何？
• RQ4 用户自定义的有趣性度量能否在实践中有效集成并得到验证？
• RQ5 优化系统（sysopt）的性能和解释质量与现有基线相比如何？

主要发现

• sysopt 优化策略生成的解释在质量上与完整 FEDEX 框架无异，同时显著减少了计算时间。
• 在扩展至 1000 万行的数据集上，sysopt 保持了高精度（通过 precision@k、Kendall-Tau 和 nDCG 衡量），且精度在不同数据规模下保持稳定。
• sysopt 在大多数数据集上的运行时间优于基线（seedb 和 rath），1000 万行数据的执行时间为 62.4 秒（seedb 为 154.9 秒），仅在 Spotify 数据集上因数据特性略慢。
• 该框架成功支持用户自定义有趣性度量，在保持与既有文献一致的同时实现定制化。
• 交互式用户研究显示，使用 sysopt 的用户发现的洞察显著多于未受辅助的 EDA 用户，验证了解释的实际效用。
• 修订后的框架明确了解释 *为何* 某项操作有趣这一新颖性——与以往工作解释 *查询返回什么* 或 *下一步应执行哪个操作* 的区别。