[论文解读] Interactive Data Analysis with Next-step Natural Language Query Recommendation

Xingbo Wang, Furui Cheng+5 more|arXiv (Cornell University)|Jan 13, 2022

Semantic Web and Ontologies被引用 7

一句话总结

本文提出 QRec-NLI，一种交互式自然语言接口，可为数据分析师在复杂、多表数据库中探索时推荐上下文感知、语义相关的下一步 SQL 查询。该系统基于类似领域用户查询日志训练的数据驱动模型，引导用户进行系统性探索，提升分析效率——用户研究验证表明，其在系统性和有效性方面优于无推荐基线。

ABSTRACT

Natural language interfaces (NLIs) provide users with a convenient way to interactively analyze data through natural language queries. Nevertheless, interactive data analysis is a demanding process, especially for novice data analysts. When exploring large and complex SQL databases from different domains, data analysts do not necessarily have sufficient knowledge about different data tables and application domains. It makes them unable to systematically elicit a series of topically-related and meaningful queries for insight discovery in target domains. We develop a NLI with a step-wise query recommendation module to assist users in choosing appropriate next-step exploration actions. The system adopts a data-driven approach to suggest semantically relevant and context-aware queries for application domains of users' interest based on their query logs. Also, the system helps users organize query histories and results into a dashboard to communicate the discovered data insights. With a comparative user study, we show that our system can facilitate a more effective and systematic data analysis process than a baseline without the recommendation module.

研究动机与目标

• 解决新手分析师在复杂、不熟悉数据库中进行低效、非系统性数据探索的挑战。
• 降低在迭代式数据分析中构思有意义、主题相关查询的认知负荷。
• 开发一种基于用户上下文和历史模式推荐语义相关下一步查询的推荐系统。
• 将查询推荐与可视化及仪表板创建功能集成，以支持洞察传达。
• 评估推荐引导对数据分析工作流有效性与系统性的影响。

提出的方法

• 基于用户探索相似领域时的查询日志，采用数据驱动的语义推荐模型，推断可能的下一步查询。
• 通过建模先前查询中的语义关系，捕捉用户特定上下文，并据此自适应调整推荐结果。
• 聚焦于基于与先前查询的语义相似性，推荐三种核心 SQL 操作：属性选择、聚合和分组。
• 自然语言接口（NL2SQL）解析自然语言查询，将其映射为 SQL 并返回结果及可视化。
• 用户可查阅查询历史记录，并将洞察整理为仪表板以供沟通。
• 系统通过领域专家的迭代式参与构建，结合反馈持续优化可用性与推荐相关性。

实验结果

研究问题

• RQ1 如何使自然语言接口在用户不熟悉复杂数据库时，有效推荐交互式数据分析的下一步？
• RQ2 上下文感知、语义相关的查询推荐在多大程度上提升了数据探索的系统性与有效性？
• RQ3 用户在真实世界的数据分析任务中，如何评价推荐查询的相关性与实用性？
• RQ4 哪些设计模式最能支持用户管理查询历史并借助仪表板传达洞察？
• RQ5 推荐系统如何减轻偏见，并支持用户纠正被误解的 NL2SQL 查询？

主要发现

• 用户研究表明，与无推荐基线相比，QRec-NLI 显著提升了数据分析的系统性与有效性。
• 参与者表示，NL2SQL 解释的自然语言说明有助于验证查询正确性，并增强对系统的信任。
• 用户赞赏能够查阅并整理查询历史记录为仪表板以进行洞察传达的功能。
• 系统推荐被感知为语义相关且具备上下文感知能力，尤其在用户探索不熟悉领域时表现突出。
• 部分用户通过检查可视化输出识别出错误推荐，表明需要更完善的错误纠正机制。
• 局限性包括因依赖表头语义可能引发的算法偏见，以及缺乏对 NL2SQL 错误进行直接修正的支持。