[论文解读] MEGAnno+: A Human-LLM Collaborative Annotation System

Hannah Kim, Kushan Mitra+3 more|arXiv (Cornell University)|Feb 28, 2024

Natural Language Processing Techniques被引用 4

一句话总结

MEGAnno+ 是一种人-大语言模型（LLM）协作标注系统，通过将 LLM 作为标注员并结合选择性的人工验证，实现了高效且高质量的数据标注。它支持 LLM 代理管理、稳健的 LLM 提示工程，以及对低置信度预测的探索性人工审查，显著提升了标注效率和可靠性，优于纯人工或纯 LLM 方法。

ABSTRACT

Large language models (LLMs) can label data faster and cheaper than humans for various NLP tasks. Despite their prowess, LLMs may fall short in understanding of complex, sociocultural, or domain-specific context, potentially leading to incorrect annotations. Therefore, we advocate a collaborative approach where humans and LLMs work together to produce reliable and high-quality labels. We present MEGAnno+, a human-LLM collaborative annotation system that offers effective LLM agent and annotation management, convenient and robust LLM annotation, and exploratory verification of LLM labels by humans.

研究动机与目标

• 解决 LLM 在数据标注过程中对复杂、社会文化或特定领域语境理解不足的问题。
• 通过结合 LLM 的速度与人工的专业知识，在保持高质量标注的同时降低标注成本和时间。
• 设计一个可扩展的标注系统，支持对 LLM 代理、标签和元数据的有效管理。
• 实现对 LLM 生成标签的选择性、探索性人工验证，以纠正错误和偏见。
• 为在人机协同数据标注流程中整合 LLM 作为标注员提供实用框架。

提出的方法

• 该系统采用人-LLM 协作工作流：先由 LLM 生成标签，随后对低置信度预测进行有针对性的人工验证。
• 支持可自定义的 LLM 代理，可配置模型和温度参数，使用户能够测试并选择最优配置。
• MEGAnno+ 提供统一后端，用于存储和管理 LLM 模型、标注结果以及置信度分数、logprobs 等元数据。
• 系统包含灵活的搜索与推荐界面，可引导人工标注员关注 LLM 输出中可能存在潜在问题的部分。
• 支持大规模 LLM 标注任务中的实时进度追踪，提升工作流透明度。
• 平台支持提示模板化和基于数据感知的提示工程，实现少样本学习，以提升标注的一致性与性能。

实验结果

研究问题

• RQ1 如何有效将 LLM 集成到人机协同标注流程中，以提升标注效率和质量？
• RQ2 在协作式标注环境中，管理 LLM 代理、其输出及关联元数据所需的系统级组件有哪些？
• RQ3 如何选择性地将人工验证聚焦于低置信度的 LLM 生成标签，以实现最大成本效益？
• RQ4 提示设计与模型配置（如温度）在多大程度上影响 LLM 标注的可靠性？
• RQ5 使用商业 LLM 对敏感或特定领域数据进行标注时，面临哪些实际挑战与风险？

主要发现

• 与纯人工标注相比，LLM 可将标注成本降低高达 96%，该结论在前期研究中已得到验证，并得到 MEGAnno+ 工作流的支持。
• 在某些分类任务中，LLM 生成的标签可优于人工标注结果，尤其当结合对低置信度预测的人工验证时更为显著。
• 该系统使用户能够比较多种 LLM 配置（如 temperature=0 与 temperature=0.7），并为特定任务选择最可靠的模型。
• 聚焦于低置信度预测（如 <95%）的人工验证，可在极少人工投入下显著提升标签质量。
• MEGAnno+ 支持大规模 LLM 标注任务中的实时进度追踪，增强了工作流透明度与可用性。
• 由于 LLM 原生能力的限制，系统的后处理与元数据处理存在局限，例如 GPT-4 缺少 logprobs，影响不确定性估计。