[论文解读] Interactive Multi-fidelity Learning for Cost-effective Adaptation of Language Model with Sparse Human Supervision

Jiaxin Zhang, Zhuohang Li+2 more|arXiv (Cornell University)|Oct 31, 2023

Topic Modeling被引用 4

一句话总结

本文提出交互式多保真度学习（IMFL），一种在金融和医疗任务中通过战略性结合低保真度大语言模型（LLM）生成的标注与高保真度人工标注，实现低成本微调小规模领域特定语言模型的高效框架。通过采用结合提示检索与可变批量大小的探索-利用查询策略，IMFL 在仅使用 1/3 人工标注预算的情况下，实现了与 5 倍人工标注相当的性能表现。

ABSTRACT

Large language models (LLMs) have demonstrated remarkable capabilities in various tasks. However, their suitability for domain-specific tasks, is limited due to their immense scale at deployment, susceptibility to misinformation, and more importantly, high data annotation costs. We propose a novel Interactive Multi-Fidelity Learning (IMFL) framework for the cost-effective development of small domain-specific LMs under limited annotation budgets. Our approach formulates the domain-specific fine-tuning process as a multi-fidelity learning problem, focusing on identifying the optimal acquisition strategy that balances between low-fidelity automatic LLM annotations and high-fidelity human annotations to maximize model performance. We further propose an exploration-exploitation query strategy that enhances annotation diversity and informativeness, incorporating two innovative designs: 1) prompt retrieval that selects in-context examples from human-annotated samples to improve LLM annotation, and 2) variable batch size that controls the order for choosing each fidelity to facilitate knowledge distillation, ultimately enhancing annotation quality. Extensive experiments on financial and medical tasks demonstrate that IMFL achieves superior performance compared with single fidelity annotations. Given a limited budget of human annotation, IMFL significantly outperforms the human annotation baselines in all four tasks and achieves very close performance as human annotations on two of the tasks. These promising results suggest that the high human annotation costs in domain-specific tasks can be significantly reduced by employing IMFL, which utilizes fewer human annotations, supplemented with cheaper and faster LLM (e.g., GPT-3.5) annotations to achieve comparable performance.

研究动机与目标

• 解决在微调领域特定语言模型时，尽管需要专家知识，但人工标注成本过高的问题。
• 克服仅依赖 LLM 生成标注所导致的幻觉与错误信息问题，尤其在高风险领域中表现突出。
• 开发一种成本效益高的微调框架，在严格标注预算下，最优平衡低保真度 LLM 标注与高保真度人工标注。
• 通过在多保真度学习设置中利用上下文学习与动态批量调度，提升标注质量与模型性能。

提出的方法

• 将领域特定微调建模为交互式多保真度学习问题，将 LLM 与人类视为具有不同保真度的标注来源。
• 设计探索-利用查询策略：LLM 负责探索多样性，人工标注则用于利用信息量更高的样本。
• 引入提示检索技术，从人工标注数据中选取上下文示例，提升 LLM 生成标注的准确性。
• 实施可变批量大小机制，控制标注获取顺序，促进 LLM 与人工标注之间的知识蒸馏。
• 采用迭代主动学习策略，选择最不确定或最具信息量的样本进行人工标注，减少冗余工作。
• 应用知识蒸馏，将最终模型的知识迁移至 LLM 标注器，从而优化未来 LLM 的预测结果。

Figure 1: (a) Proposed Interactive Multi-Fidelity Learning Framework ( IMFL ). IMFL aims at solving the best acquisition strategy that balances between low-fidelity automatic LLM annotations and high-fidelity human annotations to maximize model performance given limited annotation budgets. (b) IMFL

实验结果

研究问题

• RQ1 多保真度学习框架是否能在不牺牲性能的前提下，降低领域特定语言模型微调中的标注成本？
• RQ2 在模型性能方面，将低保真度 LLM 标注与稀疏高保真度人工标注相结合，相较于单一保真度基线表现如何？
• RQ3 在低资源、高风险领域中，提示检索与可变批量大小在多大程度上能提升 LLM 生成标注的质量？
• RQ4 所提出的框架是否能仅用 1/3 的人工标注工作量，实现接近 5 倍人工标注预算的性能表现？
• RQ5 LLM 与人工标注者之间的交互如何影响金融与医疗 NLP 任务中模型的泛化能力与鲁棒性？

主要发现

• 在所有四项评估任务（金融与医疗 NLP）中，IMFL 显著优于 3 倍人工标注基线，展现出更优的成本-性能权衡。
• 在四项任务中的两项中，IMFL 的性能已接近 5 倍人工标注的上限，表明其具备显著的效率优势。
• 提示检索的整合通过从人工标注数据中选取相关上下文示例，有效提升了 LLM 标注的准确性。
• 可变批量大小增强了知识蒸馏效果，提升了 LLM 与人工标注之间的一致性，进一步改善了模型泛化能力。
• 该框架将人工标注成本最高降低 66%，同时保持或超越了完整人工标注基线的性能表现。
• IMFL 在多种领域中均表现出强鲁棒性，在有限标注预算下，金融与医疗 NLP 任务中均实现了稳定且一致的性能提升。

Figure 3: Illustration of exploration-exploitation query strategy with core components and steps.