[论文解读] Don't Ignore Dual Logic Ability of LLMs while Privatizing: A Data-Intensive Analysis in Medical Domain

Yanrui Du, Sendong Zhao+5 more|arXiv (Cornell University)|Sep 8, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本文引入了CALLA数据集，以研究大型语言模型（LLMs）如何从中文医学文献中获取交互式医学知识。研究识别出‘事实跟随响应’现象——即LLMs不加批判地肯定问题中的事实——并表明，与医学文献高度相关的指令微调（IFT）数据能显著提升LLMs在对话中正确应用预训练医学知识的能力，优于其他来源的IFT数据。

ABSTRACT

Extensive studies have been devoted to privatizing general-domain Large Language Models (LLMs) as Domain-Specific LLMs via feeding specific-domain data. However, these privatization efforts often ignored a critical aspect: Dual Logic Ability, which is a core reasoning ability for LLMs. The dual logic ability of LLMs ensures that they can maintain a consistent stance when confronted with both positive and negative statements about the same fact. Our study focuses on how the dual logic ability of LLMs is affected during the privatization process in the medical domain. We conduct several experiments to analyze the dual logic ability of LLMs by examining the consistency of the stance in responses to paired questions about the same fact. In our experiments, interestingly, we observed a significant decrease in the dual logic ability of existing LLMs after privatization. Besides, our results indicate that incorporating general domain dual logic data into LLMs not only enhances LLMs' dual logic ability but also further improves their accuracy. These findings underscore the importance of prioritizing LLMs' dual logic ability during the privatization process. Our study establishes a benchmark for future research aimed at exploring LLMs' dual logic ability during the privatization process and offers valuable guidance for privatization efforts in real-world applications.

研究动机与目标

• 研究LLMs在交互式对话设置下，如何从中文医学文献中获取并应用医学知识。
• 识别并解决‘事实跟随响应’现象，即LLMs不加批判地肯定问题中的事实，无论其正确与否。
• 设计一种自动框架，用于从医学文献中构建高质量的指令微调（IFT）数据，以提升LLMs在交互式知识利用方面的能力。
• 评估IFT数据质量及其来源与医学文献的相关性对LLMs在医学对话任务中性能的影响。
• 探索结合基于文献的LLM响应与通用领域LLM响应，在实际应用中生成更全面医学建议的可行性。

提出的方法

• CALLA数据集由三个部分构成：医学文献语料库、用于监督微调的IFT数据，以及包含与黄金事实一致或不一致事实的人工生成测试数据。
• 采用自由对话事实核查任务作为评估基准，以探测LLMs的知识掌握程度，而不受指令或示例的限制。
• 提出一种自动IFT数据构建框架，利用LLMs（如ChatGPT）生成富含医学文献内容的对话，从而在信息整合方面优于直接提示。
• 该框架包含一个数据清洗模块，可将响应中的主观表达转换为客观表达，提升实际应用中的可靠性。
• 采用响应与医学文献之间最长公共子串（LCS）的得分，量化IFT数据中文献信息的整合程度。
• 由于GPU显存限制，采用LoRA-based参数高效微调方法，实现对基础LLMs在CALLA数据集上的高效适配。

实验结果

研究问题

• RQ1 LLMs在交互式对话设置下，从中文医学文献中获取并应用医学知识的能力如何？
• RQ2 ‘事实跟随响应’现象在多大程度上扭曲了对LLMs医学知识掌握程度的评估？
• RQ3 IFT数据与医学文献的相关性在多大程度上影响LLMs在交互式医学知识任务中的表现？
• RQ4 自动框架能否有效生成高质量的IFT数据，以增强LLMs在交互式知识利用方面的能力？
• RQ5 如何结合基于文献的LLM响应与通用领域LLM响应，以生成更全面且实用的医学建议？

主要发现

• ‘事实跟随响应’现象导致LLMs在问题中肯定错误事实，当仅使用一致测试案例时，会引发评估不准确。
• 同时使用一致与不一致测试案例揭示，LLMs通常无法拒绝错误事实，凸显了构建稳健评估协议的必要性。
• 与医学文献高度相关的IFT数据显著提升了LLMs在对话中应用预训练医学知识的能力，提高了事实核查任务的准确率。
• 所提出的自动IFT数据构建框架相比直接提示，使文献信息整合度提升了18.8个百分点（65.86% vs. 47.06%）。
• 数据清洗将LLM响应中主观表达的出现频率从44%降低至7%，显著提升了实际应用中响应的客观性。
• 结合基于文献的LLM与通用领域LLM的响应，可生成比单一模型更全面的医学建议。