[论文解读] Designing LLM Chains by Adapting Techniques from Crowdsourcing Workflows

Madeleine Grunde-McLaughlin, Michelle S. Lam+3 more|arXiv (Cornell University)|Dec 18, 2023

Mobile Crowdsensing and Crowdsourcing被引用 5

一句话总结

本文通过借鉴众包工作流中经验证的技巧，提出了一种大型语言模型链的设计空间，实现了结构化、抗错的任务分解。通过将‘可验证的创造力’等目标映射到策略与战术（如并行生成和用户修订），展示了如何利用众包模式提升大型语言模型链在三个案例研究（文本摘要、分类体系构建、故事生成）中的可靠性与可用性。

ABSTRACT

LLM chains enable complex tasks by decomposing work into a sequence of subtasks. Similarly, the more established techniques of crowdsourcing workflows decompose complex tasks into smaller tasks for human crowdworkers. Chains address LLM errors analogously to the way crowdsourcing workflows address human error. To characterize opportunities for LLM chaining, we survey 107 papers across the crowdsourcing and chaining literature to construct a design space for chain development. The design space covers a designer's objectives and the tactics used to build workflows. We then surface strategies that mediate how workflows use tactics to achieve objectives. To explore how techniques from crowdsourcing may apply to chaining, we adapt crowdsourcing workflows to implement LLM chains across three case studies: creating a taxonomy, shortening text, and writing a short story. From the design space and our case studies, we identify takeaways for effective chain design and raise implications for future research and development.

研究动机与目标

• 为解决复杂任务中设计高效大型语言模型链的挑战，此类任务易受幻觉和错误传播影响。
• 识别数十年众包研究中可迁移的设计模式，以指导大型语言模型链的开发。
• 建立系统化、以目标为导向的大型语言模型链设计框架，支持质量控制与用户交互。
• 通过真实世界案例研究，评估众包技术在大型语言模型语境下的适用性。
• 强调部分工作流模式的可迁移性，同时指出由于大型语言模型特有的局限性（如幻觉、对提示敏感）而需定制化适应的必要性。

提出的方法

• 通过调研107篇来自众包与大型语言模型链文献的论文，构建了设计空间，并将其组织为目标、策略与战术。
• 将众包工作流模式（如冗余、聚合、验证）映射到大型语言模型链设计中，识别出可迁移的策略，如并行生成与用户修订。
• 将设计空间应用于三个案例研究：文本缩短、分类体系构建与故事生成，采用适配的工作流实现大型语言模型链。
• 在文本缩短案例研究中使用直接操作界面，通过并行生成与用户对输出的转换，实现用户通过滑块控制输出长度。
• 强调大型语言模型链相比人类众包具有更低的成本与更高的迭代速度，利用大型语言模型的高速推理能力实现快速原型设计与优化。
• 提出尽管高层次设计类别（目标、策略）可从众包迁移至大型语言模型链，但低层次战术（如验证方法）需针对大型语言模型特有的故障模式进行适应。

实验结果

研究问题

• RQ1 哪些众包工作流设计模式可被有意义地适配至大型语言模型链开发？
• RQ2 如何通过众包中的策略与战术，将‘可验证的创造力’等目标在大型语言模型链中具体实现？
• RQ3 将众包技术应用于大型语言模型与人类工作者时，其实施的关键差异是什么？
• RQ4 大型语言模型链在多大程度上受益于众包中使用的冗余、聚合与用户修订策略？
• RQ5 如何利用直接操作界面提升大型语言模型链中的用户控制力与任务结果质量？

主要发现

• 该设计空间成功地将高层次目标（如‘可验证的创造力’）映射到具体策略（如用户修订与并行生成），实现了结构化的大型语言模型链开发。
• 并行生成与用户对输出的转换等技术使直接操作界面成为可能，如在文本缩短案例研究中通过长度控制滑块实现用户干预。
• 尽管高层次设计类别（目标、策略）可从众包迁移至大型语言模型链，但低层次战术需因大型语言模型特有的问题（如幻觉、提示敏感性）而进行适应。
• 由于大型语言模型推理成本低、速度高，大型语言模型链的迭代周期远快于人类众包，支持快速原型设计与优化。
• 用户修订与验证策略在提升输出质量与确保创造性任务（如文本缩短与故事生成）的忠实度方面尤为有效。
• 本研究指出，亟需系统性地发现有效的战术设计，并开发支持大型语言模型链设计过程的工具，尤其针对创造性和复杂任务。