[论文解读] INODE: Building an End-to-End Data Exploration System in Practice [Extended Vision]

Sihem Amer-Yahia, Georgia Koutrika+26 more|arXiv (Cornell University)|Apr 9, 2021

Research Data Management Practices参考文献 40被引用 6

一句话总结

INODE 是一个端到端的数据探索系统，通过整合机器学习与语义技术，实现了在癌症研究、政策制定和天体物理学等多样化科学领域中对异构开放数据集的直观、引导式探索。通过融合自然语言查询、交互式可视化以及主动的用户引导，INODE 支持不同技术水平的用户通过自适应的多模态访问和智能推荐发现洞察。

ABSTRACT

A full-fledged data exploration system must combine different access modalities with a powerful concept of guiding the user in the exploration process, by being reactive and anticipative both for data discovery and for data linking. Such systems are a real opportunity for our community to cater to users with different domain and data science expertise. We introduce INODE -- an end-to-end data exploration system -- that leverages, on the one hand, Machine Learning and, on the other hand, semantics for the purpose of Data Management (DM). Our vision is to develop a classic unified, comprehensive platform that provides extensive access to open datasets, and we demonstrate it in three significant use cases in the fields of Cancer Biomarker Reearch, Research and Innovation Policy Making, and Astrophysics. INODE offers sustainable services in (a) data modeling and linking, (b) integrated query processing using natural language, (c) guidance, and (d) data exploration through visualization, thus facilitating the user in discovering new insights. We demonstrate that our system is uniquely accessible to a wide range of users from larger scientific communities to the public. Finally, we briefly illustrate how this work paves the way for new research opportunities in DM.

研究动机与目标

• 解决不同技术水平用户通过直观的多模态界面探索复杂、异构数据集的挑战。
• 克服传统数据库系统对结构化查询的假设，通过在数据探索过程中引入主动、响应式的引导机制。
• 实现跨多个数据源的无缝数据链接与集成，动态扩展可用数据池。
• 构建一个整体的评估框架，用于衡量端到端数据探索流程中的系统性能、查询质量与用户体验。
• 在真实世界的科学用例中，如癌症生物标志物研究、政策制定和天体物理学中，证明系统的可访问性与有效性。

提出的方法

• 利用自然语言处理（NLP）与语义本体，将用户查询映射到结构化数据操作，实现带术语消歧的自然语言到SQL/SPARQL转换。
• 采用机器学习模型，包括主动学习与强化学习，基于用户反馈与行为生成并优化探索路径与推荐结果。
• 集成分面搜索与交互式可视化，支持迭代式探索性数据发现与用户驱动的查询优化。
• 设计日志记录基础设施，用于捕获详细的系统指标（延迟、内存使用）与用户交互数据（点击、任务耗时、反馈），以支持评估。
• 应用集成学习与多任务学习技术，建模用户特定的探索特征，并根据用户专业水平与数据上下文动态调整引导策略。
• 建立多阶段评估框架，结合系统级指标（精确率、召回率）与人为因素（可控性、用户满意度），通过受控用户研究与问卷调查进行评估。

实验结果

研究问题

• RQ1 如何通过包括自然语言与可视化界面在内的多种访问模态，有效支持具有不同数据科学专业水平的用户？
• RQ2 机器学习模型在交互式数据探索过程中，能在多大程度上提升推荐结果的质量与相关性？
• RQ3 如何在多步骤、迭代式数据探索工作流中对系统主动性与用户引导进行量化评估？
• RQ4 用户交互模式（如路径多样性与回溯行为）对数据探索工作流的性能与可用性有何影响？
• RQ5 如何设计评估框架，以在真实科学用例中联合评估系统性能、查询质量与用户体验？

主要发现

• INODE 在癌症生物标志物研究、科研政策与天体物理学三大主要科学领域中成功实现了端到端的数据探索，证明了其对专家与非专家用户的广泛可访问性。
• 通过利用语义本体与术语消歧，系统在自然语言到SQL/SPARQL转换中实现了高精度，显著降低了用户构建复杂查询的负担。
• 用户研究显示，可控性（以交互次数的倒数衡量）与用户接受度强相关，表明减少交互开销可有效提升用户体验。
• 主动学习与强化学习的集成使系统能够生成上下文感知的推荐，并根据用户反馈动态调整探索路径。
• 日志机制捕获了详细的性能与交互数据，支持对多步骤探索工作流中系统指标的细粒度聚合。
• 评估框架成功捕捉了系统级性能与人为因素，为实际应用中评估智能数据探索系统提供了一个可扩展的模型。