[论文解读] ExperienceWeaver: Optimizing Small-sample Experience Learning for LLM-based Clinical Text Improvement

Ziyan Xiao, Yinghao Zhu+2 more|arXiv (Cornell University)|Jan 31, 2026

Artificial Intelligence in Healthcare and Education被引用 0

一句话总结

ExperienceWeaver 引入一个分层的经验蒸馏框架，将多维临床反馈转化为与错误相关的提示和高层次策略，使小样本的基于大模型的临床文本改进成为可能，并在实验中超越若干 SOTA 模型。

ABSTRACT

Clinical text improvement is vital for healthcare efficiency but remains difficult due to limited high-quality data and the complex constraints of medical documentation. While Large Language Models (LLMs) show promise, current approaches struggle in small-sample settings: supervised fine-tuning is data-intensive and costly, while retrieval-augmented generation often provides superficial corrections without capturing the reasoning behind revisions. To address these limitations, we propose ExperienceWeaver, a hierarchical framework that shifts the focus from data retrieval to experience learning. Instead of simply recalling past examples, ExperienceWeaver distills noisy, multi-dimensional feedback into structured, actionable knowledge. Specifically, error-specific Tips and high-level Strategies. By injecting this distilled experience into an agentic pipeline, the model learns "how to revise" rather than just "what to revise". Extensive evaluations across four clinical datasets demonstrate that ExperienceWeaver consistently improves performance, surpassing state-of-the-art models such as Gemini-3 Pro in small-sample settings.

研究动机与目标

• 在数据稀缺与临床医生期望不一的情境下，凸显改进临床文本质量的必要性。
• 提出从基于检索的方法向基于蒸馏的经验学习的范式转变。
• 开发一个两阶段的经验编织过程，产生可操作的提示与高层次策略。
• 将蒸馏得到的经验整合到一个具备主动性的多代理修订流程中，用于错误检测、修订与自我批评。
• 在多个临床数据集上证明有效性，并在小样本情境下与强基线进行比较。

提出的方法

• 两阶段 Experience Weaver：阶段1 通过经验抽象与经验组合，在 LLm 指导下将原始反馈蒸馏为结构化经验。
• 阶段2 将蒸馏后的经验重新编织为两层结构：每个阶段的错误特定提示及其支撑案例，以及用于检测、修订、自我批评等阶段的功能性策略。
• 一个体验检索器将分层经验注入主动性管道，设定最大提示数量以在信息量与简明性之间取得平衡。
• 一个主动性框架遵循多代理 ReAct 风格的设置，错误检测、修订与自我批评代理通过共享内存、RAG 与 Experience Retriever 协同工作。
• 反馈是多维度的（正确性、格式、意义、可读性），并为评估与指导提示提供信息。
• 超参数（分组大小 Ng、错误频率阈值 τe、最大获取提示 τt）控制编织与检索的粒度与效率。

实验结果

研究问题

• RQ1 基于 LLM 的评审框架在评估临床文本质量方面有多可靠，哪些基础模型最稳定？
• RQ2 ExperienceWeaver 是否能够将多维、小样本的反馈转化为可操作的经验，从而提升临床文本修订质量？
• RQ3 ExperienceWeaver 在跨多数据源与多语言的小样本临床文本处理中有多大成效？
• RQ4 哪些因素影响 ExperienceWeaver 的性能，如反馈量与编织粒度？

主要发现

• ExperienceWeaver 在四个临床数据集上对比 Gemini-3 Pro 与 GPT-5.1 等强基线，持续提升文本质量。
• 在数据集上的平均改进（5 分制）分别为：英语胸部 X 光 0.794，中文腹部 CT 0.456，出院记录 0.412，临床自由文本 0.137。
• 在真实世界的验证中，纳入编织经验后，错误检测指标（准确率、精确度、召回率）分别提升最多 20.4%、16.3%、28.6%。
• 在小样本验证任务中，较中等长度的提示（τ = 3）表现更稳定。
• 该方法超越了若干单发式基线与基于 RAG 的方法，在小样本临床文本改进中显示出强劲表现。