[论文解读] Iris: A Conversational Agent for Complex Tasks

Ethan Fast, Binbin Chen+3 more|arXiv (Cornell University)|Jul 17, 2017

Data Stream Mining Techniques参考文献 38被引用 14

一句话总结

Iris 是一个对话式智能体，通过领域特定语言和对话类型系统，将简单的自然语言命令组合起来，实现复杂的数据科学任务。与非对话式编程环境相比，Iris 在预测建模任务中实现了 2.6 倍的加速，展示了用户驱动、目标导向工作流的动态命令组合能力。

ABSTRACT

Today's conversational agents are restricted to simple standalone commands. In this paper, we present Iris, an agent that draws on human conversational strategies to combine commands, allowing it to perform more complex tasks that it has not been explicitly designed to support: for example, composing one command to "plot a histogram" with another to first "log-transform the data". To enable this complexity, we introduce a domain specific language that transforms commands into automata that Iris can compose, sequence, and execute dynamically by interacting with a user through natural language, as well as a conversational type system that manages what kinds of commands can be combined. We have designed Iris to help users with data science tasks, a domain that requires support for command combination. In evaluation, we find that data scientists complete a predictive modeling task significantly faster (2.6 times speedup) with Iris than a modern non-conversational programming environment. Iris supports the same kinds of commands as today's agents, but empowers users to weave together these commands to accomplish complex goals.

研究动机与目标

• 为了解决当前对话式智能体仅能处理简单、独立命令的局限性。
• 通过自然语言交互，使用户能够将基本命令组合成复杂、多步骤的数据科学工作流。
• 设计一种系统，能够根据用户意图和对话上下文，动态组合和排序命令。
• 在无需显式编程的情况下，支持复杂的数据科学任务——例如在绘制直方图前对数据进行对数变换。
• 评估对话式命令组合是否能提升真实世界数据科学工作流中的任务完成速度和可用性。

提出的方法

• Iris 使用领域特定语言（DSL）将自然语言命令转换为有限状态自动机，以实现程序化执行。
• 系统采用对话类型系统，验证并管理命令组合的兼容性，确保语义正确性。
• 通过迭代式用户交互，动态组合和排序命令，使用户能够逐步构建复杂工作流。
• 该智能体同时支持独立命令和复合工作流，允许用户串联数据转换和可视化等操作。
• 该架构将自然语言理解与可执行程序表示相结合，支持灵活、交互式的任务执行。
• 通过一个真实世界的预测建模任务进行评估，将任务完成时间与非对话式编程环境进行比较。

实验结果

研究问题

• RQ1 对话式智能体能否有效将多个简单命令组合为复杂、多步骤的数据科学工作流？
• RQ2 通过自然语言交互进行命令组合，对数据科学任务的完成速度有何影响？
• RQ3 在对话环境中组合多种命令时，需要何种机制来确保语义一致性？
• RQ4 用户在仅使用自然语言和命令组合的情况下，能在多大程度上实现复杂的数据科学目标而无需编写代码？
• RQ5 具备动态命令组合能力的对话式智能体，其性能与传统非对话式编程环境相比如何？

主要发现

• 与现代非对话式编程环境相比，Iris 使用户在预测建模任务中完成任务的速度快了 2.6 倍。
• 该系统成功支持了如先对数据进行对数变换再绘制直方图等命令的组合，展示了动态工作流创建的能力。
• 对话类型系统有效防止了无效命令组合，确保了交互过程中的语义完整性。
• 用户能够通过自然语言表达复杂的数据科学目标，而无需编写代码，完全依赖命令组合。
• 领域特定语言与基于自动机的执行模型，使得在对话环境中实现可靠且可扩展的命令执行成为可能。
• 结果表明，通过支持灵活、目标驱动的命令组合，对话式智能体可显著提升数据科学中的生产力。