[论文解读] AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts

Tongshuang Wu, Michael Terry+1 more|arXiv (Cornell University)|Oct 4, 2021

Topic Modeling被引用 34

一句话总结

本文提出 LLM Chaining，一种将复杂任务分解为带中间输出的顺序子任务的方法，支持模块化的交互界面，并在 20-person 研究中显示链式处理提升了任务质量、透明度和用户协作感。

ABSTRACT

Although large language models (LLMs) have demonstrated impressive potential on simple tasks, their breadth of scope, lack of transparency, and insufficient controllability can make them less effective when assisting humans on more complex tasks. In response, we introduce the concept of Chaining LLM steps together, where the output of one step becomes the input for the next, thus aggregating the gains per step. We first define a set of LLM primitive operations useful for Chain construction, then present an interactive system where users can modify these Chains, along with their intermediate results, in a modular way. In a 20-person user study, we found that Chaining not only improved the quality of task outcomes, but also significantly enhanced system transparency, controllability, and sense of collaboration. Additionally, we saw that users developed new ways of interacting with LLMs through Chains: they leveraged sub-tasks to calibrate model expectations, compared and contrasted alternative strategies by observing parallel downstream effects, and debugged unexpected model outputs by "unit-testing" sub-components of a Chain. In two case studies, we further explore how LLM Chains may be used in future applications

研究动机与目标

• 解决在复杂的 LLM 辅助任务中缺乏透明度和可控性的问题。
• 提出一组模块化的 LLM 基元操作，以构建子任务的 Chains。
• 提供一个交互界面，用于创建、编辑和检查 LLM Chains 及其中间输出。
• 评估链式处理如何影响任务绩效和用户体验。
• 通过案例研究演示 LLM Chains 的潜在未来应用。

提出的方法

• 定义八个按目标分组的原始 LLM 操作，以实现任务分解。
• 为每个操作设计提示模板和默认参数，以支持 Chain 的构建。
• 构建一个交互式 Chain 界面，能可视化操作和数据层，并支持多粒度的编辑。
• 在同一底层 LLM 的条件下，进行一个被试内的用户研究，比较 Chaining 与非 Chaining 基线。
• 分析 Chains 如何提升透明度、可控性、协作以及任务结果。
• 展示案例研究，说明未来应用并讨论设计挑战与机会。

实验结果

研究问题

• RQ1 与同一 LLM 的非链式方法相比，Chaining 是否能改善任务结果？
• RQ2 从用户角度看，Chaining 是否提升系统透明度和可控性？
• RQ3 当用户使用 Chains 和中间数据时，会出现哪些新的交互模式？
• RQ4 Chains 如何帮助调试或校准对 LLM 行为的期望？
• RQ5 LLM Chains 的潜在未来应用及设计考虑因素有哪些？

主要发现

• 链式处理显著提升了人机体验的关键维度，包括透明度、可控性、协作和精神支持。
• 使用 Chaining 时，参与者大约在 82% 的情况下达到更高质量的结果。
• 用户利用子任务来校准模型期望，并通过并行的下游效果比较替代策略。
• 用户通过对 Chain 的子组件进行单元测试来调试意外的模型输出。
• 研究揭示了通过 Chains 使用 LLM 的新的交互模式，例如将子任务隔离和检查中间结果，同时不改变底层模型。
• 案例研究说明潜在未来的应用，并强调在部署 LLM Chains 时的挑战与机遇。